国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

PHP導(dǎo)出超大的CSV格式的Excel表方案

yedf / 2861人閱讀

摘要：場景和痛點說明我們工作場景都常會導(dǎo)出相關(guān)的數(shù)據(jù)，有時候需要大量的數(shù)據(jù)，，都有可能我們現(xiàn)有方案都是直接利用等類庫來操作，的加載或是寫入一次導(dǎo)出會遇到超時內(nèi)存和時間限制問題，就算我們依舊不是最好的方案下面我們利用輸出，把數(shù)據(jù)依次輸出清空再輸出的

場景和痛點 說明 
我們工作場景都常會導(dǎo)出相關(guān)的excel數(shù)據(jù)，有時候需要大量的數(shù)據(jù)，10W，100W都有可能
我們現(xiàn)有方案都是直接利用phpexcel等類庫來操作，phpexcel的load加載或是寫入一次導(dǎo)出會遇到超時內(nèi)存和時間限制問題，就算我們ini_set依舊不是最好的方案


下面我們利用php輸出csv，把數(shù)據(jù)依次輸出清空再輸出的方式到輸出終端（瀏覽器訪問就是瀏覽器輸出）
編寫過程 說明 
關(guān)鍵具體在代碼里注釋
代碼 
 $v) {
    $column_name[$i] = iconv("utf-8", "GBK", $v);
}

// 將標(biāo)題名稱通過fputcsv寫到文件句柄
fputcsv($fp, $column_name);

$export_data = [];
for ($i = 0; $i < 10; $i++) {
    foreach (range(1, 100000) as $k => $v) {
        $export_data[] = [
            "XXX" . $v, "XXX" . $v, "XXX" . $v, "XXX" . $v, "XXX" . $v, "XXX" . $v, "XXX" . $v, "XXX" . $v, "XXX" . $v, "XXX" . $v
        ];
    }
    foreach ($export_data as $item) {
        $rows = array();
        foreach ($item as $export_obj) {
            $rows[] = iconv("utf-8", "GBK", $export_obj);
        }
        fputcsv($fp, $rows);
    }

    $export_data = []; //重新復(fù)制，釋放掉舊數(shù)據(jù)
}
fclose($fp);

$endTime = microtime(true);
$memoryUse = memory_get_usage();

file_put_contents("11.log", "內(nèi)存占用：" . convert($memoryUse) . "; 用時：" . ($endTime - $startTime) . PHP_EOL, 8);

exit(0);
結(jié)果 測試說明 
我們模擬數(shù)據(jù)，輸入了100萬(10000 * 10)數(shù)據(jù)
日志記錄內(nèi)存使用率 
# 文件大小：84.7 MB (88,889,540 字節(jié))
# 這里的用時因為業(yè)務(wù)模擬，所以具體根據(jù)操作業(yè)務(wù)數(shù)據(jù)可能會更長，內(nèi)存占用同理

內(nèi)存占用：118.99 kb; 用時：74.375253915787

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/29002.html

相關(guān)文章

  • php 導(dǎo)出 excel

    關(guān)于 PHP 導(dǎo)出 excel csv 常用的有 PHPexcel ,本文整理了一些其他方案。 高性能 Excel 擴展 sudo apt-get install -y zlib1g-dev git clone https://github.com/jmcnamara/libxlsxwriter.git cd libxlsxwriter make && sudo make install // ...

    付永剛 評論0 收藏0

  • PHP實時生成并下載超大數(shù)據(jù)量的EXCEL文件

    摘要：而常用的包需要把所有數(shù)據(jù)拿到后才能生成，在面對生成超大數(shù)據(jù)量的文件時這顯然是會造成內(nèi)存溢出的，所以考慮使用讓邊寫入輸出流邊讓瀏覽器下載的形式來完成需求。 最近接到一個需求，通過選擇的時間段導(dǎo)出對應(yīng)的用戶訪問日志到excel中， 由于用戶量較大，經(jīng)常會有導(dǎo)出50萬加數(shù)據(jù)的情況。而常用的PHPexcel包需要把所有數(shù)據(jù)拿到后才能生成excel， 在面對生成超大數(shù)據(jù)量的excel文件時這顯然...

    Neilyo 評論0 收藏0

  • php 數(shù)據(jù)導(dǎo)出

    摘要：最近在做后臺管理的項目，后臺通常有數(shù)據(jù)導(dǎo)出到的需要，經(jīng)過之前搜索通常推薦使用的是，我經(jīng)常使用的是，對于也有很好用的對應(yīng)。 最近在做后臺管理的項目，后臺通常有數(shù)據(jù)導(dǎo)出到 excel 的需要，經(jīng)過之前搜索通常推薦使用的是 php excel ，我經(jīng)常使用的是 laravel ，對于 php excel 也有很好用的對應(yīng) package。 開始使用是非常好用的，但是當(dāng)需要導(dǎo)出的數(shù)據(jù)達到上萬...

    MartinHan 評論0 收藏0

  • 由導(dǎo)出CSV文件格式錯誤的小結(jié)

    摘要：目前導(dǎo)出方式占用內(nèi)存較大。比如有些狀態(tài)字段，數(shù)據(jù)庫存的就是數(shù)字或只占一個字節(jié)，完全換成中文狀態(tài)的話，可能達個字節(jié)甚至更多。若是必須要用中文形式。中文亂碼解決的話，其實也很簡單，函數(shù)，將轉(zhuǎn)為編碼，在中打開就不會錯了 問題描述：目前、一般情況下，在web開發(fā)過程中，使用導(dǎo)入導(dǎo)出報表的情形很多。我們先說導(dǎo)出。項目數(shù)據(jù)量多導(dǎo)出行數(shù)較多，50萬行左右，選擇的是csv方式導(dǎo)出。針對以下應(yīng)用場景，導(dǎo)...

    Taonce 評論0 收藏0

發(fā)表評論

0條評論

最新活動
閱讀需要支付1元查看
<