摘要:大批量插入數(shù)據(jù)四種方法方法一循環(huán)插入這個也是最普通的方式,如果數(shù)據(jù)量不是很大,可以使用,但是每次都要消耗連接數(shù)據(jù)庫的資源。
mysql大批量插入數(shù)據(jù)四種方法 方法一:循環(huán)插入
這個也是最普通的方式,如果數(shù)據(jù)量不是很大,可以使用,但是每次都要消耗連接數(shù)據(jù)庫的資源。
大致思維如下
(我這里寫偽代碼,具體編寫可以結(jié)合自己的業(yè)務(wù)邏輯或者框架語法編寫)
for($i=1;$i<=100;$i++){ $sql = "insert..............."; //querysql } foreach($arr as $key => $value){ $sql = "insert..............."; //querysql } while($i <= 100){ $sql = "insert..............."; //querysql $i++ }
因為太過普通同時也沒什么難度同時也不是我今天主要寫的所以這里我不多說
方法二:減少連接資源,拼接一條sql偽代碼如下
//這里假設(shè)arr的key和數(shù)據(jù)庫字段同步,其實大多數(shù)框架中在php操作數(shù)據(jù)庫的時候都是這么設(shè)計的 $arr_keys = array_keys($arr); $sql = "INSERT INTO tablename (" . implode("," ,$arr_keys) . ") values"; $arr_values = array_values($arr); $sql .= " ("" . implode("","" ,$arr_values) . ""),"; $sql = substr($sql ,0 ,-1); //拼接之后大概就是 INSERT INTO tablename ("username","password") values ("xxx","xxx"),("xxx","xxx"),("xxx","xxx"),("xxx","xxx"),("xxx","xxx"),("xxx","xxx") ....... //querysql
這樣寫正常插入一萬條基本問題不大,除非數(shù)據(jù)很長,應(yīng)付普通的批量插入夠用了,比如:批量生成卡號,批量生成隨機碼等等。。。
方法三:使用存儲過程這個我手里正好再用這個就把sql付出來,具體業(yè)務(wù)邏輯大家自己組合一下就可以。
delimiter $$$ create procedure zqtest() begin declare i int default 0; set i=0; start transaction; while i<80000 do //your insert sql set i=i+1; end while; commit; end $$$ delimiter; call zqtest();
這個也只是個測試代碼,具體參數(shù)大家自行定義
我這里是一次插入8萬條,雖然不多但是,每一條數(shù)據(jù)量都很大,有很多varchar4000 和text字段
耗時 6.524s
這個我目前正在使用,所以順便把pdo的代碼也復(fù)上來,以便大家參考
//設(shè)置pdo開啟MYSQL_ATTR_LOCAL_INFILE /*hs96.cn@gmail.com public function pdo_local_info () { global $system_dbserver; $dbname = "hs96.cn@gmail.com"; $ip = "hs96.cn@gmail.com"; $user = "hs96.cn@gmail.com"; $pwd = "hs96.cn@gmail.com"; $dsn = "mysql:dbname=" . $dbname . ";host=" . $ip . ";port=3306"; $options = [PDO::MYSQL_ATTR_LOCAL_INFILE => true]; $db = new PDO($dsn ,$user ,$pwd ,$options); return $db; } //偽代碼如下 public function test(){ $arr_keys = array_keys($arr); $root_dir = $_SERVER["DOCUMENT_ROOT"] . "/"; $my_file = $root_dir . "hs96.cn@gmail.com/sql_cache/" . $order["OrderNo"] . ".sql"; $fhandler = fopen($my_file,"a+"); if ($fhandler) { $sql = implode(" " ,$arr); $i = 1; while ($i <= 80000) { $i++; fwrite($fhandler ,$sql . " "); } $sql = "LOAD DATA local INFILE "" . $myFile . "" INTO TABLE "; $sql .= "tablename (" . implode("," ,$arr_keys) . ")"; $pdo = $this->pdo_local_info (); $res = $pdo->exec($sql); if (!$res) { //TODO 插入失敗 } @unlink($my_file); } }
這個同樣每一條數(shù)據(jù)量都很大,有很多varchar4000 和text字段
耗時 2.160s
以上滿足基本需求,100萬數(shù)據(jù)問題不大,要不數(shù)據(jù)實在太大也涉及分庫分表了,或者使用隊列插入了。
大家可能會說,代碼粘貼上運行不了啊?
我的偽代碼 只講思維 有了自己的思維才能一通百通
文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址:http://m.specialneedsforspecialkids.com/yun/31700.html
摘要:起因最近一段時間,生產(chǎn)系統(tǒng)持續(xù)碰到一些數(shù)據(jù)庫異常,導(dǎo)致執(zhí)行失敗。綜上,若發(fā)生異常,為數(shù)據(jù)庫連接失效,但是失效的原因可能會有多種,大致都與各種參數(shù)相關(guān)。當(dāng)時數(shù)據(jù)量大概多條,然后在批量插入時拋出該異常。 起因 最近一段時間,生產(chǎn)系統(tǒng)持續(xù)碰到一些數(shù)據(jù)庫異常,導(dǎo)致 sql 執(zhí)行失敗。 應(yīng)用環(huán)境 Java 1.7 + Mysql 5.6 + spring + ibatis 問題排查 將各種失敗的...
閱讀 2906·2021-11-24 09:39
閱讀 1166·2021-11-02 14:38
閱讀 4160·2021-09-10 11:26
閱讀 2752·2021-08-25 09:40
閱讀 2312·2019-08-30 15:54
閱讀 484·2019-08-30 10:56
閱讀 2746·2019-08-26 12:14
閱讀 3218·2019-08-26 12:13