java实战--异步Excel下载

1、说明

实际业务中,系统会涉及Excel报表下载共功能,当业务数据体量过大,为避免用户点击下载后长时间等待,可设计成异步Excel(生成Excel下载Excel两步)下载,用户点击下载任务触达后,可进行其他业务操作,稍后在业务报表模块中查看生成的Excel信息,在点击已生成完成的的Excel文件链接下载即可。

2、 设计方案

2.1 业务交互流程

(1)用户点击业务下载按钮

image.png

(2)系统收到下载请求,后台异步去生成Excel文件,弹框反馈用户下载请求已触达,稍后去报表模块查看报表
image.png

(3)报表中心看到后台生成好的Excel报表名称及时间
image.png

2.2 设计示意图

image.png

【说明】
a.用户点击下载Excel
b.异步生成Excel文件,文件上传到文件存储OSS服务器,返回文件地址
c.文件名称及地址保存数据库
d.用户在报表中心展示文件地址超链接。下载从OSS云服务器下载(可CDN加速)

3、实现

3.1 数据库表设计

  • 导出文件表point_export_file
CREATE TABLE `point_export_file` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '主键',
  `zone_id` varchar(32) NOT NULL DEFAULT '0' COMMENT '导出文件所属区部',
  `type` tinyint(4) NOT NULL DEFAULT '0' COMMENT '文件类型',
  `file_name` varchar(256) DEFAULT '' COMMENT '文件名称',
  `file_url` varchar(256) DEFAULT '' COMMENT '文件url',
  `operator_id` bigint(20) DEFAULT NULL COMMENT '操作人id',
  `operator_name` varchar(256) NOT NULL DEFAULT 'admin' COMMENT '用户名称',
  `down_count` smallint(6) unsigned NOT NULL DEFAULT '0' COMMENT '下载次数',
  `created_at` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
  `updated_at` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '最近更新时间',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='导出文件列表';

3.2 程序代码实现

(1)controller类,接收业务导出请求,触发异步导出任务。

@Qualifier("excelThreadPool")
@Autowired
private ExecutorService executorService;

@ApiOperation("导出积分明细")
@GetMapping(value = "/api/point/export")
public Response<Boolean> exportConsumeRecord(PointExportCriteria criteria) {
     // 触发异步事件
     Future<?> future = executorService.submit( () -> {
          final String fileUrl = pointService.getPointRecordFileUrl(criteria);} );
     return Response.ok(true);
}

(2)配置类config,配置异步线程池。

@Bean("excelThreadPool")
   public ExecutorService buildExcelThreadPool() {
       int cpuNum = Runtime.getRuntime().availableProcessors();
       BlockingQueue<Runnable> workQueue = new LinkedBlockingQueue<>(1000);
       ThreadFactory threadFactory = new ThreadFactoryBuilder().setNameFormat("excel-pool-%d").build();
       return new ThreadPoolExecutor( cpuNum * 2 + 1, 5 * cpuNum,
               2, TimeUnit.MINUTES, workQueue, threadFactory);
   }

(3)核心异步业务实现类,读取业务数据生成Excel文件,并触发上传文件。

public String getPointRecordFileUrl(PointExportCriteria criteria){
      // todo 1查询数据
      List<Point>  pointList  = new ArrayList();
       int pageNo = 1;
       criteria.setPageNo(pageNo);
       criteria.setPageSize(PAGE_SIZE);
       String fileName = "自定义文件名头-" + DateTime.now().toString("yyyyMMddHHmmss") + ".xlsx";
       String filePath = FILE_PATH +fileName;
       int total = PAGE_SIZE;
        // todo 2.使用alibaba Excel去写文档
       ExcelWriter excelWriter = null;
       try {
            // 这里 需要指定写用哪个class去写
            excelWriter = EasyExcel.write(filePath, Point.class).build();
            // 这里注意 如果同一个sheet只要创建一次
            WriteSheet writeSheet = EasyExcel.writerSheet("电子券使用记录").build();
            while (true) {
                criteria.setPageNo(pageNo);
                Paging<Point> paging = point.pagingMapper(criteria);

                if (paging.getData().isEmpty()) {
                    log.warn("this paging now do not has coupon consume record,criteria {},pageNo {}", criteria, pageNo);
                    break;
                }
                List<Point> pointList = paging.getData();
                total= pointList.size();
                exportScopeDtoList.addAll(pointList);
                excelWriter.write(exportScopeDtoList, writeSheet);
                exportScopeDtoList.clear();
                pageNo++;
                if (total < PAGE_SIZE) {
                    break;
                }
            }

        } catch (Exception e) {
            log.error("export failed,cause:{} ", Throwables.getStackTraceAsString(e));
            throw new JsonResponseException(500,"point.export.fail");
        } finally {
            // 千万别忘记finish 会帮忙关闭流
            if (excelWriter != null) {
                excelWriter.finish();
            }
        }
        // 获取下载链接
        String fileUrl = getFileUrl(filePath, fileName, currentUser,zoneIds);
        log.info("导出积分 done criteria: {},cost: {} ms",criteria,stopwatch.elapsed(TimeUnit.MILLISECONDS));
        return fileUrl;
}

(4)文件上传,OSS文件存储,返回文件地址,并保存到导出文件列库表。

    public String getFileUrl(String filePath, String fileName, BaseUser currentUser, List<String> zoneIds) {
        File file = new File(filePath);
        // 上传云服务器
        String fileUrl = ossBlobClient.doUpload(file);
        PointExportFile exportFile = new PointExportFile();
        exportFile.setFileUrl(fileUrl);
        exportFile.setType(0);
        exportFile.setFileName(fileName);
        exportFile.setOperatorId(currentUser.getId());
        exportFile.setOperatorName(currentUser.getName());
        if (!CollectionUtils.isEmpty(zoneIds)) {
            exportFile.setZoneId(zoneIds.get(0));
        }
        exportFile.setDownCount(0);
        Response<Long> longResponse = pointExportFileMapper.create(exportFile);
        if (!longResponse.isSuccess()) {
            log.error("create export file record fail,cause {}",longResponse.getError());
            throw new JsonResponseException(longResponse.getError());
        }
        return fileUrl;
    }

(5)文件列表查询,返回文件链接地址,名称信息。前端通过Excel链接去完成下载操作。

    @ApiOperation("文件导出分页查询")
    @RequestMapping(value = "/export/paging", method = RequestMethod.GET)
      public Response<Paging<PointExportFile>>  paging(
            @RequestParam(required = true,defaultValue = "1")Integer pageNo,
            @RequestParam(required = true,defaultValue = "10")Integer pageSize){
        if (log.isDebugEnabled()) {
            log.debug("start paging export file ,pageNo: {},pageSize: {}", pageNo,pageSize);
        }
        ExportFileCriteria exportFileCriteria = new ExportFileCriteria();
        exportFileCriteria.setPageNo(pageNo);
        exportFileCriteria.setPageSize(pageSize);
        exportFileCriteria.setUserZoneIds(ManageZoneUtil.queryUserManageZone());
        Response<Paging<ExportFile>> resp = exportFileReadService.paging(exportFileCriteria);
        if(!resp.isSuccess()){
            log.error("failed to paging export file cause: {}",
                    resp.getError());
            throw new JsonResponseException(resp.getError());
        }
        return resp;
    }
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 160,227评论 4 364
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,755评论 1 298
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 109,899评论 0 244
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,257评论 0 213
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,617评论 3 288
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,757评论 1 221
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,982评论 2 315
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,715评论 0 204
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,454评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,666评论 2 249
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,148评论 1 261
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,512评论 3 258
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,156评论 3 238
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,112评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,896评论 0 198
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,809评论 2 279
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,691评论 2 272

推荐阅读更多精彩内容