laravel实现大数据csv导出

首先说明几点:

  1. excel格式的文件最大支持100万的数据,所以不考虑使用excel格式
  2. laravel的toArray()方法有内存泄露,所以大量数据导出不能使用.
  3. 当然要使用chunk方法查询数据,然后写到文件中

关于toArray()方法内存泄露排查

chunk()方法的代码块如下(chunk中按理是不用unset的,会自动释放):

 $ormQuery->chunk(1000, function ($data) use (&$firstWrite, $fp) {
    Log::info("开始:".memory_get_usage());
    $data = $data->toArray();
    Log::info("结束:".memory_get_usage());
    unset($data);
    Log::info("usnet 结束:".memory_get_usage());
});

日志

从下往上看

Screen Shot 2017-04-01 at 4.16.38 PM.png

通过日志我们可以分析得出:
在将一个“组块”的 Eloquent 模型转为数组的时候$data = $data->toArray();内存增加了很多.最后unset的时候又没有释放回初始值.实际上chunk中是不需要unset释放的.

解决

使用
DB::table("xxx")->->orderBy(xx)->chunk(xx);方式查询数据,查询结果在使用$data = json_decode(json_encode($data), true);转换成数组,每次chunk执行进去,内存都是一样的,内部也不需要unset.

大数据导出最后做的方案

因为数据量大,所以我的做法是,小量数据导出就直接发送给用户.大数据导出,走队列任务,然后做一个报表管理,用户可以查看进度和完成后下载.

在浏览器中直接返回文件和后台写入文件

函数基本使用

$fp = fopen("文件路径/文件名", "a");  //a表示追加模式
fwrite($fp, chr(0xEF).chr(0xBB).chr(0xBF)); // 添加 BOM,不然excel打开csv是乱码
在chunk的闭包中写数据: fputcsv($fp, $array);
fclose($fp);

在队列中导出

 $fp = fopen(storage_path('app/public/exports')."/".$report->name, "a");
            fwrite($fp, chr(0xEF).chr(0xBB).chr(0xBF)); // 添加 BOM
            $firstWrite = true;
            $query = $expoter->customQuery($query);
            $query->orderBy($tableName.".id")->chunk(1000, function ($data) use (&$firstWrite, $fp, $expoter) {
                $data = json_decode(json_encode($data), true);

                $data = $expoter->customData($data);
                //有一些列总是不导出,如icon,image,images
                $data = ExportUtils::removeInvalids($data);
                //写列名
                if ($firstWrite) {
                    $columnNames = [];
                    //获取列名
                    foreach ($data[0] as $key => $value) {
                        $columnNames[] = admin_translate($key, "coupon");
                    }
                    fputcsv($fp, $columnNames);
                    $firstWrite = false;
                }
                foreach ($data as $item) {
                    fputcsv($fp, $item);
                }
            });

            fclose($fp);

在浏览器中返回数据

 $response = new StreamedResponse(null, 200, [
                'Content-Type'        => 'text/csv',
                'Content-Disposition' => 'attachment; filename="'.$fileName.'"',
            ]);
            $response->setCallback(function () use ($query, $tableName) {
                $out = fopen('php://output', 'w');
                fwrite($out, chr(0xEF).chr(0xBB).chr(0xBF)); // 添加 BOM

                $firstWrite = true;

                $query = $this->customQuery($query);

                $query->orderBy($tableName.".id")->chunk(500, function ($data) use (&$firstWrite, $out) {

                    $data = json_decode(json_encode($data), true);

                    $data = $this->customData($data);
                    //有一些列总是不导出,如icon,image,images
                    $data = ExportUtils::removeInvalids($data);
                    //写列名
                    if ($firstWrite) {
                        $columnNames = [];
                        //获取列名
                        foreach ($data[0] as $key => $value) {
                            $columnNames[] = admin_translate($key, "coupon");
                        }
                        fputcsv($out, $columnNames);
                        $firstWrite = false;
                    }
                    foreach ($data as $item) {
                        fputcsv($out, $item);
                    }
                });

                fclose($out);
            });
            $response->send();
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 148,637评论 1 318
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 63,443评论 1 266
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 99,164评论 0 218
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 42,075评论 0 188
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 50,080评论 1 266
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 39,365评论 1 184
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 30,901评论 2 283
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 29,649评论 0 176
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,122评论 0 223
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 29,734评论 2 225
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,093评论 1 236
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 27,548评论 2 222
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,028评论 3 216
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,765评论 0 9
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,291评论 0 178
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 34,162评论 2 239
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 34,293评论 2 242

推荐阅读更多精彩内容