百度360必应搜狗淘宝本站头条
虚拟机是什么网卡地址单元测试概念光标dos 命令大全
当前位置：网站首页 > 技术文章 > 正文

多人同时导出 Excel 干崩服务，新来的大佬一招解决，方案太优雅了

haoteby 2025-03-19 12:49 81 浏览

前言

业务诉求：考虑到数据库数据日渐增多，导出会有全量数据的导出，多人同时导出可以会对服务性能造成影响，导出涉及到mysql查询的io操作，还涉及文件输入、输出流的io操作，所以对服务器的性能会影响的比较大；结合以上原因，对导出操作进行排队；

刚开始拿到这个需求，第一时间想到就是需要维护一个FIFO先进先出的队列，给定队列一个固定size，在队列里面的人进行排队进行数据导出，导出完成后立马出队列，下一个排队的人进行操作；还考虑到异步，可能还需要建个文件导出表，主要记录文件的导出情况，文件的存放地址，用户根据文件列表情况下载导出文件。

业务关系定义

分别是用户、导出队列、导出执行方法 ExportQueue：维护一条定长队列，可以获取队列里前后排队的用户，提供查询，队列如果已经满了，其余的人需要进行等待 User信息：排队执行导出方法对应用户；Export类：定义导出方法，异步执行，用户可以通过导出页面查看、下载，导出的文件；


具体代码实现

ExportQueue队列

package com.example.system.config;

import com.example.system.api.domain.ExportUser;
import lombok.extern.slf4j.Slf4j;
import org.springframework.stereotype.Component;

import java.util.LinkedList;

@Slf4j
@Component
public class ExportQueue {


    private final int MAX_CAPACITY = 10; // 队列最大容量
    private LinkedList queue; // 用户队列

    public ExportQueue(LinkedList queue) {
        this.queue = new LinkedList<>();
    }

    /**
     * 排队队列添加
     * @param sysUser
     */
    public synchronized LinkedList add(ExportUser sysUser) {
        while (queue.size() >= MAX_CAPACITY) {
            try {
                log.info("当前排队人已满，请等待");
                wait();
            } catch (InterruptedException e) {
                e.getMessage();
            }
        }
        queue.add(sysUser);
        log.info("目前导出队列排队人数：" + queue.size());
        notifyAll();
        return queue;
    }


    /**
     * 获取排队队列下一个人
     * @return
     */
    public synchronized ExportUser getNextSysUser() {
        while (queue.isEmpty()) {
            try {
                wait();
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
        }
        ExportUser sysUser = queue.remove();
        notifyAll(); //唤醒
        return sysUser;
    }
}

AbstractExport导出类

  • 引入EasyExcel百万级别的导出功能
package com.example.system.config;


import cn.hutool.core.bean.BeanUtil;
import cn.hutool.core.util.PageUtil;
import com.alibaba.excel.EasyExcel;
import com.alibaba.excel.ExcelWriter;
import com.alibaba.excel.write.metadata.WriteSheet;
import com.example.system.api.domain.ExportUser;
import lombok.extern.slf4j.Slf4j;

import javax.servlet.http.HttpServletResponse;
import java.io.IOException;
import java.net.URLEncoder;
import java.util.List;

@Slf4j
public abstract class AbstractExport {


    public abstract void export(ExportUser sysUser) throws InterruptedException;

    /**
     * 导出
     *
     * @param response 输出流
     * @param pageSize 每页大小
     * @param t        导出条件
     * @param k        Excel内容实体类
     * @param fileName 文件名称
     */
    public void export(HttpServletResponse response, int pageSize, T t, Class k, String fileName) throws Exception {
        ExcelWriter writer = null;
        try {
            writer = getExcelWriter(response, fileName);
            //查询导出总条数
            int total = this.countExport(t);
            //页数
            int loopCount = PageUtil.totalPage(total, pageSize);
            BeanUtil.setProperty(t, "pageSize", pageSize);
            for (int i = 0; i < loopCount; i++) {
                //开始页
                BeanUtil.setProperty(t, "pageNum", PageUtil.getStart(i + 1, pageSize));
                //获取Excel导出信息
                List kList = this.getExportDetail(t);
                WriteSheet writeSheet = EasyExcel.writerSheet(fileName).head(k).build();
                writer.write(kList, writeSheet);
            }
        } catch (Exception e) {
            String msg = "导出" + fileName + "异常";
            log.error(msg, e);
            throw new Exception(msg + e);
        } finally {
            if (writer != null) {
                writer.finish();
            }
        }
    }

    public com.alibaba.excel.ExcelWriter getExcelWriter(HttpServletResponse response, String fileName) throws IOException {
        response.setContentType("application/vnd.ms-excel");
        response.setCharacterEncoding("utf-8");
        // 这里URLEncoder.encode可以防止中文乱码 当然和easyexcel没有关系
        String fileNameUtf = URLEncoder.encode(fileName, "UTF-8").replaceAll("\\+", "%20");
        response.setHeader("Content-disposition", "attachment;filename*=utf-8''" + fileNameUtf + ".xlsx");
        return EasyExcel.write(response.getOutputStream()).build();
    }


    /**
     * （模版导出）
     *
     * @param t
     * @param fileName
     * @param response
     */
    public abstract void complexFillWithTable(T t, String fileName, HttpServletResponse response);

    /**
     * 查询导出总条数
     *
     * @param t
     * @return
     */
    public abstract int countExport(T t);

    /**
     * 查询导出数据
     *
     * @param t
     * @return
     */
    public abstract List getExportDetail(T t);
}

ExportImpl导出实现方法

package com.example.system.service.impl;

import com.alibaba.excel.ExcelWriter;
import com.example.system.api.domain.ExportUser;
import com.example.system.config.AbstractExport;
import com.example.system.config.ExportQueue;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;

import javax.servlet.http.HttpServletResponse;
import java.io.IOException;
import java.util.LinkedList;
import java.util.List;

@Service
@Slf4j
public class ExportImpl extends AbstractExport {

    @Autowired
    private ExportQueue exportQueue;


    @Override
    public void export(ExportUser sysUser) throws InterruptedException {

        //导出
        log.info("导出文件方法执行～～～～～～～～～");
//        export(response,pageSize,t,k,fileName);
        LinkedList queue = exportQueue.add(sysUser);
        log.info("导出队列：" + queue);
        //休眠时间稍微设置大点，模拟导出处理时间
        Thread.sleep(20000);
        //导出成功后移除当前导出用户
        ExportUser nextSysUser = exportQueue.getNextSysUser();
        log.info("移除后获取下一个排队的用户: " + nextSysUser.getUserName());

    }


    @Override
    public void export(HttpServletResponse response, int pageSize, Object o, Class k, String fileName) throws Exception {
        super.export(response, pageSize, o, k, fileName);
    }

    @Override
    public ExcelWriter getExcelWriter(HttpServletResponse response, String fileName) throws IOException {
        return super.getExcelWriter(response, fileName);
    }

    @Override
    public void complexFillWithTable(Object o, String fileName, HttpServletResponse response) {

    }

    @Override
    public int countExport(Object o) {
        return 0;
    }

    @Override
    public List getExportDetail(Object o) {
        return null;
    }
}

测试controller

package com.example.system.controller;

import com.example.system.api.domain.ExportUser;
import com.example.system.api.domain.SysUser;
import com.example.system.service.impl.ExportImpl;
import lombok.SneakyThrows;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RequestBody;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

@RestController
@RequestMapping("/export")
@Slf4j
public class ExportController {

    @Autowired
    private ExportImpl export;


    @PostMapping("/exportFile")
    public void exportFile() {
            new Thread(new Runnable() {
                @SneakyThrows
                @Override
                public void run() {
                    Thread thread1 = Thread.currentThread();
                    ExportUser sysUser =new ExportUser();
                    sysUser.setUserName(thread1.getName());

                    export.export(sysUser);
                }
            }).start();
        }
}

测试结果

  • 通过请求测试方法，限制了我们导出队列最大限制10次，队列场长度超过10次则无法进行继续提交；

  • 第一次请求和第二次请求，间隔10秒，第一个用户导出完成后出列，下一个排队用户在队列首位，在进行导出请求排在上一个用户后面；

总结

其余的还未实现，导出文件的表的设计、oss文件上传、用户导出文件下载，还有高并发的场景下会不会出现什么问题，这些都还没有太考虑进去；实现的方式应该挺多的，Redis的队列应该也是可以的，这里仅仅提供一个实现思路。

相关推荐

如何为MySQL服务器和客户机启用SSL?

用户想要与MySQL服务器建立一条安全连接时，常常依赖VPN隧道或SSH隧道。不过，获得MySQL连接的另一个办法是，启用MySQL服务器上的SSL封装器(SSLwrapper)。这每一种方法各有其...

OpenVPN客户端配置_openvpn客户端配置文件解析

...

k8s 证书问题排查_k8s dashboard 证书

从去年开始一些老项目上陆陆续续出现一些列的证书问题，（证书原理这里就不说了，官方文档一堆）多数刚开始的表现就是节点的kubelet服务起不来，节点状态NotReady表现日志如下failed...

企业级网络互通方案:云端OpenVPN+爱快路由器+Win11互联实战

企业级网络互通方案：OpenVPN搭建公有云+爱快路由器+Win11三地互联实战指南「安全高效」三地局域网秒变局域网实施环境说明...

OpenV** Server/Client配置文件详解

Server配置详解...

接口基础认知:关键信息与合规前提

1.核心技术参数（必记）...

S交换机通过SSH登录设备配置示例(RADIUS认证+本地认证独立)

说明：●本示例只介绍设备的认证相关配置，请同时确保已在RADIUS服务器上做了相关配置，如设备地址、共享密钥、创建用户等配置。●通过不同的管理域来实现RADIUS认证与本地认证两种方式同时使用，两...

SSL证书如何去除私钥密码保护_ssl证书怎么取消

有时候我们在生成证书的时候可以加入了密码保护。然后申请到证书安装到了web服务器。但是这样可能会带来麻烦。每次重启apache或者nginx的时候，都需要输入密码。那么SSL证书如何去除私钥密码保护。...

SSL证书基础知识与自签名证书生成指南

一、证书文件类型解析...

S交换机通过SSH登录设备配置示例(RADIUS认证)

说明：本示例只介绍设备的认证相关配置，请同时确保已在RADIUS服务器上做了相关配置，如设备地址、共享密钥、创建用户等配置。假设已在RADIUS服务器上创建了用户名yc123，密码test#123。对...

HTTPS是什么?加密原理和证书。SSL/TLS握手过程

秘钥的产生过程非对称加密...

HTTPS TLS握手流程_进行tls握手

1.客户端向服务器发送`ClientHello`消息，包括支持的TLS版本、加密套件、随机数等信息。2.服务器收到`ClientHello`消息后，解析其中的信息，并根据配置选择一个加密套件。3....

Spring Boot 单点登录(SSO)实现_spring boot 单点登录jwt

SpringBoot单点登录（SSO）实现全指南单点登录（SingleSign-On,SSO）是一种身份验证机制，允许用户使用一组凭证登录多个相关但独立的系统。在微服务架构和企业级系统中，SS...

源码分享:在pdf上加盖电子签章_pdf如何加盖电子公章

在pdf上加盖电子签章，并不是只是加个印章图片，。而是要使用一对密钥中的私钥对文件进行签字。为啥要用私钥呢？很简单，因为公钥是公开的，其他人才可以用公钥为你证明，这个文件是你签的。这就是我们常说的：私...

微信支付商户API证书到期 怎么更换

微信支付商户API证书到期更换是一个非常重要的操作，需要仔细按照流程进行。如果证书过期，所有通过API的支付、退款等操作都会失败，将直接影响您的业务。请按照以下详细步骤进行操作：重要前提：分清...

一周热门