摘要:本人前一遍中提到,當(dāng)進(jìn)程數(shù)過(guò)多時(shí),多進(jìn)程插入數(shù)據(jù)庫(kù)表,超過(guò)了最大連接數(shù),就會(huì)報(bào)錯(cuò),插入就會(huì)有失敗的情況。這樣就可以控制有的連接數(shù)不會(huì)達(dá)到上限,程序不會(huì)出現(xiàn)連接數(shù)據(jù)庫(kù)失敗的情況。多進(jìn)程耗內(nèi)存比較嚴(yán)重,下一步打算用多線程來(lái)試試。
本人前一遍blog中提到,當(dāng)進(jìn)程數(shù)過(guò)多時(shí),多進(jìn)程插入mysql數(shù)據(jù)庫(kù)表,超過(guò)了mysql最大連接數(shù),就會(huì)報(bào)錯(cuò),插入就會(huì)有失敗的情況。想通過(guò)進(jìn)程間通信來(lái)控制一下連接數(shù),參考了一些網(wǎng)上的blog
實(shí)現(xiàn)了一下,利用共享內(nèi)存來(lái)存放mysql的連接數(shù),當(dāng)某個(gè)進(jìn)程在獲取信號(hào)量后,嘗試去連接數(shù)據(jù)庫(kù)之前,先判斷一下,當(dāng)前的連接數(shù)是否超過(guò)了預(yù)定的閾值,如果沒(méi)有,就連接數(shù)據(jù)庫(kù),連接成功后,連接數(shù)加一,立馬釋放信號(hào),等操作數(shù)據(jù)庫(kù)完畢后,進(jìn)程再次阻塞,來(lái)獲取信號(hào),然后把連接數(shù)減一,釋放信號(hào)量后,進(jìn)程退出。
這樣就可以控制有mysql的連接數(shù)不會(huì)達(dá)到上限,程序不會(huì)出現(xiàn)連接數(shù)據(jù)庫(kù)失敗的情況。當(dāng)然我可以直接少fork一些進(jìn)程,本人就是覺(jué)得要折騰一下。不然進(jìn)程通信就懵逼了。而且也不會(huì)有以下的問(wèn)題出現(xiàn)。
但是本人實(shí)驗(yàn),fork一萬(wàn)個(gè)子進(jìn)程,虛擬機(jī)很容易就掛了。后來(lái)該為fork 5000個(gè)子進(jìn)程,插入一百萬(wàn)條數(shù)據(jù),模擬的是最原始的插入。虛擬機(jī)雖然沒(méi)有崩, 但是很卡,期間會(huì)出現(xiàn)很多僵尸進(jìn)程,這里有點(diǎn)疑問(wèn)。
多進(jìn)程耗內(nèi)存比較嚴(yán)重,下一步打算用多線程來(lái)試試。
ps:要支持Semaphore函數(shù),php在編譯安裝是要加上如下參數(shù):
--enable-sysvsem --enable-sysvshm --enable-sysvmsg
為此,我還重新編譯了php。。。。蛋疼啊。代碼如下:
0) { //$id = pcntl_wait($status,WNOHANG); $child[] = $pid; } else if ($pid == 0) { while(true) { // 獲得信號(hào)量 sem_acquire($signal); $count = shm_get_var($shm_id, SHARE_KEY); if ($count >= $poolSize) { sem_release($signal); continue; } else { $link = mysqli_connect("localhost","root","root","yii2advanced"); if ($link) { $count++; shm_put_var($shm_id,SHARE_KEY,$count); sem_release($signal); $start = ($i-1)*$per + 1; $end = $start + $per; for($j = $start; $j< $end; $j++){ $time = microtime(true); $sql = "insert pcntl_test (rank,time) values (".$j.",".$time.")"; mysqli_query($link,$sql); } mysqli_close($link); break; } } sleep(1); } sem_acquire($signal); $count = shm_get_var($shm_id,SHARE_KEY); $count--; shm_put_var($shm_id, SHARE_KEY, $count); sem_release($signal); $id = getmypid(); $count++; echo "count : ".$count." child ".$id." finished ".microtime(true).PHP_EOL; exit(0); } } while(count($child)){ foreach($child as $k => $pid) { $res = pcntl_waitpid($pid, $status, WNOHANG); if ( -1 == $res || $res > 0) { unset($child[$k]); } } } $end = microtime(true); echo "end ".$end.PHP_EOL; echo "fork ".$num."process insert ".$total." recodes takes ".($end-$begin).PHP_EOL;
最后,我統(tǒng)計(jì)分析了一下5千個(gè)進(jìn)程,一百萬(wàn)條記錄,插入時(shí),mysql的連接數(shù)情況(平均連接數(shù)為464),用python作圖如下:
文章版權(quán)歸作者所有,未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址:http://m.specialneedsforspecialkids.com/yun/22717.html
摘要:當(dāng)某種網(wǎng)絡(luò)事件發(fā)生時(shí),會(huì)回調(diào)用戶設(shè)置的指定回調(diào)函數(shù)。承擔(dān)了底層網(wǎng)絡(luò)事件的監(jiān)聽及各種底層事件處理,當(dāng)收到請(qǐng)求時(shí),會(huì)觸發(fā)事件提醒,然后將控制權(quán)轉(zhuǎn)交預(yù)先注冊(cè)的事件回調(diào)函數(shù),來(lái)進(jìn)行后續(xù)的處理。請(qǐng)求到來(lái)時(shí)創(chuàng)建,請(qǐng)求結(jié)束后銷毀。 運(yùn)行流程圖 showImg(https://segmentfault.com/img/remote/1460000017207791);showImg(https://s...
摘要:進(jìn)程切換太多,影響了了效率應(yīng)該是原因之一。當(dāng)時(shí),十萬(wàn)條記錄,個(gè)進(jìn)程插入總時(shí)間為單進(jìn)程插入萬(wàn)條數(shù)據(jù),耗時(shí)秒,相對(duì)個(gè)進(jìn)程插入萬(wàn)記錄來(lái)說(shuō),耗時(shí)少些。而單進(jìn)程插入萬(wàn)條記錄,耗時(shí),相對(duì)來(lái)說(shuō),是挺慢的了。 個(gè)人在虛擬機(jī)centos7,單核,1G內(nèi)存 /** * 模擬并發(fā)請(qǐng)求,10萬(wàn)次寫入數(shù)據(jù)庫(kù) * 拆分為10個(gè)進(jìn)程,每個(gè)進(jìn)程處理一萬(wàn)條插入 */ $total = 10000; $num ...
摘要:將環(huán)境變量和標(biāo)準(zhǔn)輸入發(fā)送到子進(jìn)程子進(jìn)程完成處理后將標(biāo)準(zhǔn)輸出和錯(cuò)誤信息從同一連接返回。當(dāng)子進(jìn)程關(guān)閉連接時(shí),請(qǐng)求便告知處理完成。定義一個(gè)子進(jìn)程最多處理的請(qǐng)求數(shù),達(dá)到這個(gè)值,進(jìn)程自動(dòng)退出。 一、SAPI比較 1. SAPI 服務(wù)器應(yīng)用程序編程接口,就是服務(wù)器與編程語(yǔ)言之間交互的接口。比如Linux命令行執(zhí)行一段PHP代碼,其實(shí)是Linux shell通過(guò)PHP SAPI傳入一組參數(shù),zend...
閱讀 3423·2021-11-24 09:39
閱讀 1811·2021-11-17 09:33
閱讀 3541·2021-10-12 10:12
閱讀 5048·2021-09-22 15:51
閱讀 1123·2019-08-30 13:11
閱讀 3584·2019-08-30 10:59
閱讀 578·2019-08-30 10:48
閱讀 1324·2019-08-26 13:48