phpmysql万万数据技巧_Mysql切切级别数据批量插入只需简单三步

文章目录 [+]

文件中配置

bulk_insert_buffer_size=120M 或者更大

phpmysql万万数据技巧_Mysql切切级别数据批量插入只需简单三步

将insert语句的长度设为最大。

（图片来自网络侵删）

Max_allowed_packet=1M

Net_buffer_length=8k

保存

第二步：查看设置的参选有没有生效.

Mysql > SHOW VARIABLES;

bulk_insert_buffer_size默认是8M，我们要把它调成100M或百兆以上，也不要太大。
下面看调度个好的，如下图：

第三步：完成设置后，批量插入数据时利用多条模式。

INSERT INTO table (field1,field2,field3) VALUES ('a',\公众b\公众,\"大众c\"大众), ('a',\"大众b\公众,\公众c\"大众),('a',\"大众b\"大众,\"大众c\"大众);

将以上Mysql插入模式用php措辞字符串拼接SQL方法如下，你也可转换Java,Python,Golang其它你用的最顺手的措辞，将方法转换分享吧：

多条数据同时转化成插入SQL语句

@ CreatBy:IT自由职业者

@param string $table 表名

@$arr_key是表字段名的key：$arr_key=array(\"大众field1\"大众,\公众field2\"大众,\"大众field3\"大众)

@param array $arr是字段值数组示例 arrat((\"大众a\公众,\公众b\公众,\"大众c\"大众), (\公众bbc\"大众,\公众bbb\公众,\公众caaa\公众),('add',\"大众bppp\"大众,\"大众cggg\公众))

@return string

function multArray2Insert($table,$arr_key, $arr, $split = '`') {

$arrValues = array();

if (empty($table) || !is_array($arr_key) || !is_array($arr)) {

return false;

}

$sql = \"大众INSERT INTO %s( %s ) values %s \"大众;

foreach ($arr as $k => $v) {

$arrValues[$k] = \"大众'\公众.implode(\"大众','\公众,array_values($v)).\"大众'\公众;

}

$sql = sprintf($sql, $table, \"大众{$split}\"大众 . implode(\公众{$split} ,{$split}\"大众, $arr_key) . \"大众{$split}\"大众, \公众(\公众 . implode(\公众) , (\公众, array_values($arrValues)) . \"大众)\"大众);

return $sql;

}

以上方法调试过无误的，头条没有代码格式编辑器，以是发代码图。
这段代码的返回字符串结果是INSERT INTO table (field1,field2,field3) VALUES ('a',\"大众b\"大众,\公众c\公众), ('a',\公众b\公众,\"大众c\"大众),('a',\"大众b\公众,\"大众c\"大众) ，做试验时用的普通配置的电脑是每秒1000条批量插入速率，千万条数据写的速率也非常快，新版本PHP措辞数据处理能力很强大。
如果你的电脑或做事器性能高，你可以调节$arr数组决定你插入多少条数据，灵巧利用吧。

你可直接复制利用它，希望你能理解，若有问题请留言吧。

记得收藏这篇文章吧，我会不断有精而巧的技能爆点给大家分享的，请关注\"大众IT自由职者\"大众。