国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

php通過(guò)共享內(nèi)存,控制mysql連接數(shù),多進(jìn)程插入數(shù)據(jù)(pcnt學(xué)習(xí)四)

ivyzhang / 807人閱讀

摘要:本人前一遍中提到,當(dāng)進(jìn)程數(shù)過(guò)多時(shí),多進(jìn)程插入數(shù)據(jù)庫(kù)表,超過(guò)了最大連接數(shù),就會(huì)報(bào)錯(cuò),插入就會(huì)有失敗的情況。這樣就可以控制有的連接數(shù)不會(huì)達(dá)到上限,程序不會(huì)出現(xiàn)連接數(shù)據(jù)庫(kù)失敗的情況。多進(jìn)程耗內(nèi)存比較嚴(yán)重,下一步打算用多線程來(lái)試試。

本人前一遍blog中提到,當(dāng)進(jìn)程數(shù)過(guò)多時(shí),多進(jìn)程插入mysql數(shù)據(jù)庫(kù)表,超過(guò)了mysql最大連接數(shù),就會(huì)報(bào)錯(cuò),插入就會(huì)有失敗的情況。想通過(guò)進(jìn)程間通信來(lái)控制一下連接數(shù),參考了一些網(wǎng)上的blog
實(shí)現(xiàn)了一下,利用共享內(nèi)存來(lái)存放mysql的連接數(shù),當(dāng)某個(gè)進(jìn)程在獲取信號(hào)量后,嘗試去連接數(shù)據(jù)庫(kù)之前,先判斷一下,當(dāng)前的連接數(shù)是否超過(guò)了預(yù)定的閾值,如果沒(méi)有,就連接數(shù)據(jù)庫(kù),連接成功后,連接數(shù)加一,立馬釋放信號(hào),等操作數(shù)據(jù)庫(kù)完畢后,進(jìn)程再次阻塞,來(lái)獲取信號(hào),然后把連接數(shù)減一,釋放信號(hào)量后,進(jìn)程退出。
這樣就可以控制有mysql的連接數(shù)不會(huì)達(dá)到上限,程序不會(huì)出現(xiàn)連接數(shù)據(jù)庫(kù)失敗的情況。當(dāng)然我可以直接少fork一些進(jìn)程,本人就是覺(jué)得要折騰一下。不然進(jìn)程通信就懵逼了。而且也不會(huì)有以下的問(wèn)題出現(xiàn)。
但是本人實(shí)驗(yàn),fork一萬(wàn)個(gè)子進(jìn)程,虛擬機(jī)很容易就掛了。后來(lái)該為fork 5000個(gè)子進(jìn)程,插入一百萬(wàn)條數(shù)據(jù),模擬的是最原始的插入。虛擬機(jī)雖然沒(méi)有崩, 但是很卡,期間會(huì)出現(xiàn)很多僵尸進(jìn)程,這里有點(diǎn)疑問(wèn)。
多進(jìn)程耗內(nèi)存比較嚴(yán)重,下一步打算用多線程來(lái)試試。
ps:要支持Semaphore函數(shù),php在編譯安裝是要加上如下參數(shù):

--enable-sysvsem
--enable-sysvshm
--enable-sysvmsg

為此,我還重新編譯了php。。。。蛋疼啊。代碼如下:

 0) {
        //$id = pcntl_wait($status,WNOHANG);
        $child[] = $pid;
    } else if ($pid == 0) {
        while(true) {
            // 獲得信號(hào)量
            sem_acquire($signal);
            $count = shm_get_var($shm_id, SHARE_KEY);
            if ($count >= $poolSize) {
                sem_release($signal);
                continue;
            } else {
                $link  = mysqli_connect("localhost","root","root","yii2advanced");
                if ($link) {
                    $count++;
                    shm_put_var($shm_id,SHARE_KEY,$count);
                    sem_release($signal);
                    $start = ($i-1)*$per + 1;
                    $end   = $start + $per;
                    for($j = $start; $j< $end; $j++){
                        $time = microtime(true);
                        $sql = "insert pcntl_test (rank,time) values (".$j.",".$time.")";
                        mysqli_query($link,$sql);
                    }
                    mysqli_close($link);
                    break;
                }
                
            }
            sleep(1);
        }
        sem_acquire($signal);
        $count = shm_get_var($shm_id,SHARE_KEY);
        $count--;
        shm_put_var($shm_id, SHARE_KEY, $count);
        sem_release($signal);
        $id = getmypid();
        $count++;
        echo "count : ".$count." child ".$id." finished ".microtime(true).PHP_EOL;
        exit(0);
    
    }
}
while(count($child)){
    foreach($child as $k => $pid) {
        $res = pcntl_waitpid($pid, $status, WNOHANG);
        if ( -1 == $res || $res > 0) {
            unset($child[$k]);
        }
    }
}
$end = microtime(true);
echo "end ".$end.PHP_EOL;
echo "fork ".$num."process insert ".$total." recodes takes ".($end-$begin).PHP_EOL;

最后,我統(tǒng)計(jì)分析了一下5千個(gè)進(jìn)程,一百萬(wàn)條記錄,插入時(shí),mysql的連接數(shù)情況(平均連接數(shù)為464),用python作圖如下:

文章版權(quán)歸作者所有,未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址:http://m.specialneedsforspecialkids.com/yun/22717.html

相關(guān)文章

  • swoole入門4-初識(shí)swoole

    摘要:當(dāng)某種網(wǎng)絡(luò)事件發(fā)生時(shí),會(huì)回調(diào)用戶設(shè)置的指定回調(diào)函數(shù)。承擔(dān)了底層網(wǎng)絡(luò)事件的監(jiān)聽及各種底層事件處理,當(dāng)收到請(qǐng)求時(shí),會(huì)觸發(fā)事件提醒,然后將控制權(quán)轉(zhuǎn)交預(yù)先注冊(cè)的事件回調(diào)函數(shù),來(lái)進(jìn)行后續(xù)的處理。請(qǐng)求到來(lái)時(shí)創(chuàng)建,請(qǐng)求結(jié)束后銷毀。 運(yùn)行流程圖 showImg(https://segmentfault.com/img/remote/1460000017207791);showImg(https://s...

    forsigner 評(píng)論0 收藏0
  • php進(jìn)程插入數(shù)據(jù)(pcntl 學(xué)習(xí)筆記二)

    摘要:進(jìn)程切換太多,影響了了效率應(yīng)該是原因之一。當(dāng)時(shí),十萬(wàn)條記錄,個(gè)進(jìn)程插入總時(shí)間為單進(jìn)程插入萬(wàn)條數(shù)據(jù),耗時(shí)秒,相對(duì)個(gè)進(jìn)程插入萬(wàn)記錄來(lái)說(shuō),耗時(shí)少些。而單進(jìn)程插入萬(wàn)條記錄,耗時(shí),相對(duì)來(lái)說(shuō),是挺慢的了。 個(gè)人在虛擬機(jī)centos7,單核,1G內(nèi)存 /** * 模擬并發(fā)請(qǐng)求,10萬(wàn)次寫入數(shù)據(jù)庫(kù) * 拆分為10個(gè)進(jìn)程,每個(gè)進(jìn)程處理一萬(wàn)條插入 */ $total = 10000; $num ...

    CoyPan 評(píng)論0 收藏0
  • 深入了解SAPI

    摘要:將環(huán)境變量和標(biāo)準(zhǔn)輸入發(fā)送到子進(jìn)程子進(jìn)程完成處理后將標(biāo)準(zhǔn)輸出和錯(cuò)誤信息從同一連接返回。當(dāng)子進(jìn)程關(guān)閉連接時(shí),請(qǐng)求便告知處理完成。定義一個(gè)子進(jìn)程最多處理的請(qǐng)求數(shù),達(dá)到這個(gè)值,進(jìn)程自動(dòng)退出。 一、SAPI比較 1. SAPI 服務(wù)器應(yīng)用程序編程接口,就是服務(wù)器與編程語(yǔ)言之間交互的接口。比如Linux命令行執(zhí)行一段PHP代碼,其實(shí)是Linux shell通過(guò)PHP SAPI傳入一組參數(shù),zend...

    CoderBear 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<