文件中配置
bulk_insert_buffer_size=120M 或者更大
将insert语句的长度设为最大。

Max_allowed_packet=1M
Net_buffer_length=8k
保存
第二步:查看设置的参选有没有生效.
Mysql > SHOW VARIABLES;
bulk_insert_buffer_size默认是8M,我们要把它调成100M或百兆以上,也不要太大。下面看调度个好的,如下图:
第三步:完成设置后,批量插入数据时利用多条模式。
INSERT INTO table (field1,field2,field3) VALUES ('a',\"大众b\"大众,\公众c\"大众), ('a',\"大众b\"大众,\"大众c\"大众),('a',\"大众b\"大众,\公众c\公众);
将以上Mysql插入模式用php措辞字符串拼接SQL方法如下,你也可转换Java,Python,Golang其它你用的最顺手的措辞,将方法转换分享吧:
/
多条数据同时转化成插入SQL语句
@ CreatBy:IT自由职业者
@param string $table 表名
@$arr_key是表字段名的key:$arr_key=array(\"大众field1\公众,\"大众field2\公众,\"大众field3\"大众)
@param array $arr是字段值 数组示例 arrat((\"大众a\"大众,\"大众b\"大众,\"大众c\公众), (\"大众bbc\公众,\"大众bbb\"大众,\"大众caaa\"大众),('add',\"大众bppp\"大众,\"大众cggg\"大众))
@return string
/
function multArray2Insert($table,$arr_key, $arr, $split = '`') {
$arrValues = array();
if (empty($table) || !is_array($arr_key) || !is_array($arr)) {
return false;
}
$sql = \"大众INSERT INTO %s( %s ) values %s \"大众;
foreach ($arr as $k => $v) {
$arrValues[$k] = \"大众'\"大众.implode(\公众','\"大众,array_values($v)).\公众'\"大众;
}
$sql = sprintf($sql, $table, \公众{$split}\公众 . implode(\公众{$split} ,{$split}\"大众, $arr_key) . \公众{$split}\"大众, \"大众(\"大众 . implode(\"大众) , (\"大众, array_values($arrValues)) . \"大众)\公众);
return $sql;
}
以上方法调试过无误的,头条没有代码格式编辑器,以是发代码图。这段代码的返回字符串结果是INSERT INTO table (field1,field2,field3) VALUES ('a',\"大众b\"大众,\"大众c\"大众), ('a',\公众b\"大众,\"大众c\"大众),('a',\公众b\公众,\"大众c\"大众) ,做试验时用的普通配置的电脑是每秒1000条批量插入速率,千万条数据写的速率也非常快,新版本PHP措辞数据处理能力很强大。如果你的电脑或做事器性能高,你可以调节$arr数组决定你插入多少条数据,灵巧利用吧。
你可直接复制利用它,希望你能理解,若有问题请留言吧。
记得收藏这篇文章吧,我会不断有精而巧的技能爆点给大家分享的,请关注\公众IT自由职者\公众。