国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

mysql大批量插入數(shù)據(jù)四種方法

stormgens / 2082人閱讀

摘要:大批量插入數(shù)據(jù)四種方法方法一循環(huán)插入這個也是最普通的方式,如果數(shù)據(jù)量不是很大,可以使用,但是每次都要消耗連接數(shù)據(jù)庫的資源。

mysql大批量插入數(shù)據(jù)四種方法 方法一:循環(huán)插入

這個也是最普通的方式,如果數(shù)據(jù)量不是很大,可以使用,但是每次都要消耗連接數(shù)據(jù)庫的資源。
大致思維如下
(我這里寫偽代碼,具體編寫可以結(jié)合自己的業(yè)務(wù)邏輯或者框架語法編寫)

for($i=1;$i<=100;$i++){
    $sql = "insert...............";
    //querysql
}
foreach($arr as $key => $value){
$sql = "insert...............";
    //querysql
}
while($i <= 100){
$sql = "insert...............";
    //querysql
    $i++
}

因為太過普通同時也沒什么難度同時也不是我今天主要寫的所以這里我不多說

方法二:減少連接資源,拼接一條sql

偽代碼如下

//這里假設(shè)arr的key和數(shù)據(jù)庫字段同步,其實大多數(shù)框架中在php操作數(shù)據(jù)庫的時候都是這么設(shè)計的
$arr_keys        = array_keys($arr);
$sql             = "INSERT INTO tablename (" . implode("," ,$arr_keys) . ") values";
$arr_values      = array_values($arr);
$sql             .= " ("" . implode("","" ,$arr_values) . ""),";
$sql             = substr($sql ,0 ,-1);
//拼接之后大概就是  INSERT INTO tablename ("username","password") values 
("xxx","xxx"),("xxx","xxx"),("xxx","xxx"),("xxx","xxx"),("xxx","xxx"),("xxx","xxx")
.......
//querysql

這樣寫正常插入一萬條基本問題不大,除非數(shù)據(jù)很長,應(yīng)付普通的批量插入夠用了,比如:批量生成卡號,批量生成隨機碼等等。。。

方法三:使用存儲過程

這個我手里正好再用這個就把sql付出來,具體業(yè)務(wù)邏輯大家自己組合一下就可以。

delimiter $$$
create procedure zqtest()
begin
declare i int default 0;
set i=0;
start transaction;
while i<80000 do
    //your insert sql 
set i=i+1;
end while;
commit;
end
$$$
delimiter;
call zqtest();

這個也只是個測試代碼,具體參數(shù)大家自行定義
我這里是一次插入8萬條,雖然不多但是,每一條數(shù)據(jù)量都很大,有很多varchar4000 和text字段
耗時 6.524s

方法四:使用MYSQL LOCAL_INFILE

這個我目前正在使用,所以順便把pdo的代碼也復(fù)上來,以便大家參考

//設(shè)置pdo開啟MYSQL_ATTR_LOCAL_INFILE
/*hs96.cn@gmail.com
public function pdo_local_info ()
{
     global $system_dbserver;
     $dbname  = "hs96.cn@gmail.com";
     $ip      = "hs96.cn@gmail.com";
     $user    = "hs96.cn@gmail.com";
     $pwd     = "hs96.cn@gmail.com";
     $dsn     = "mysql:dbname=" . $dbname . ";host=" . $ip . ";port=3306";
     $options = [PDO::MYSQL_ATTR_LOCAL_INFILE => true];
     $db      = new PDO($dsn ,$user ,$pwd ,$options);
     return $db;
 }
//偽代碼如下
public function test(){
     $arr_keys         = array_keys($arr);
     $root_dir         = $_SERVER["DOCUMENT_ROOT"] . "/";
     $my_file          = $root_dir . "hs96.cn@gmail.com/sql_cache/" . $order["OrderNo"] . ".sql";
     $fhandler         = fopen($my_file,"a+");
     if ($fhandler) {
        $sql = implode("	" ,$arr);
          $i   = 1;
          while ($i <= 80000)
          {
              $i++;
              fwrite($fhandler ,$sql . "
");
          }
          $sql = "LOAD DATA local INFILE "" . $myFile . "" INTO TABLE ";
          $sql .= "tablename (" . implode("," ,$arr_keys) . ")";
          $pdo = $this->pdo_local_info ();
          $res = $pdo->exec($sql);
          if (!$res) {
               //TODO 插入失敗
          }
          @unlink($my_file);
      }
}

這個同樣每一條數(shù)據(jù)量都很大,有很多varchar4000 和text字段
耗時 2.160s
以上滿足基本需求,100萬數(shù)據(jù)問題不大,要不數(shù)據(jù)實在太大也涉及分庫分表了,或者使用隊列插入了。

大家可能會說,代碼粘貼上運行不了啊?
我的偽代碼 只講思維 有了自己的思維才能一通百通

文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址:http://m.specialneedsforspecialkids.com/yun/31700.html

相關(guān)文章

  • 數(shù)據(jù)庫相關(guān)異常分析

    摘要:起因最近一段時間,生產(chǎn)系統(tǒng)持續(xù)碰到一些數(shù)據(jù)庫異常,導(dǎo)致執(zhí)行失敗。綜上,若發(fā)生異常,為數(shù)據(jù)庫連接失效,但是失效的原因可能會有多種,大致都與各種參數(shù)相關(guān)。當(dāng)時數(shù)據(jù)量大概多條,然后在批量插入時拋出該異常。 起因 最近一段時間,生產(chǎn)系統(tǒng)持續(xù)碰到一些數(shù)據(jù)庫異常,導(dǎo)致 sql 執(zhí)行失敗。 應(yīng)用環(huán)境 Java 1.7 + Mysql 5.6 + spring + ibatis 問題排查 將各種失敗的...

    IamDLY 評論0 收藏0

發(fā)表評論

0條評論

最新活動
閱讀需要支付1元查看
<