点击「 IT码徒 」， 关注，置顶 公众号

每日技术干货，第一时间送达！

1

前言

业务诉求：考虑到数据库数据日渐增多，导出会有全量数据的导出，多人同时导出可以会对服务性能造成影响，导出涉及到mysql查询的io操作，还涉及文件输入、输出流的io操作，所以对服务器的性能会影响的比较大；结合以上原因，对导出操作进行排队；

刚开始拿到这个需求，第一时间想到就是需要维护一个FIFO先进先出的队列，给定队列一个固定size，在队列里面的人进行排队进行数据导出，导出完成后立马出队列，下一个排队的人进行操作；还考虑到异步，可能还需要建个文件导出表，主要记录文件的导出情况，文件的存放地址，用户根据文件列表情况下载导出文件。

2

业务关系定义

分别是用户、导出队列、导出执行方法：

3

具体代码实现

ExportQueue队列：

@Slf4j
@Component
public classExportQueue {
private final int MAX_CAPACITY = 10; // 队列最大容量
private LinkedList<ExportUser> queue; // 用户队列
publicExportQueue(LinkedList<ExportUser> queue){
this.queue = new LinkedList<>();
}
/**
* 排队队列添加
* @param sysUser
*/
public synchronized LinkedList<ExportUser> add(ExportUser sysUser) {
while (queue.size() >= MAX_CAPACITY) {
try {
log.info("当前排队人已满，请等待");
wait();
} catch (InterruptedException e) {
e.getMessage();
}
}
queue.add(sysUser);
log.info("目前导出队列排队人数：" + queue.size());
notifyAll();
returnqueue;
}
/**
* 获取排队队列下一个人
* @return
*/
public synchronized ExportUser getNextSysUser(){
while (queue.isEmpty()) {
try {
wait();
} catch (InterruptedException e) {
e.printStackTrace();
}
}
ExportUser sysUser = queue.remove();
notifyAll(); //唤醒
return sysUser;
}
}






AbstractExport导出类

引入EasyExcel百万级别的导出功能

@Slf4j
publicabstract classAbstractExport<T, K> {
publicabstractvoidexport(ExportUser sysUser)throws InterruptedException;
/**
* 导出
*
* @param response 输出流
* @param pageSize 每页大小
* @param t 导出条件
* @param k Excel内容实体类
* @param fileName 文件名称
*/
publicvoidexport(HttpServletResponse response, int pageSize, T t, class<K> k, String fileName)throws Exception {
ExcelWriter writer = null;
try {
writer = getExcelWriter(response, fileName);
//查询导出总条数
int total = this.countExport(t);
//页数
int loopCount = PageUtil.totalPage(total, pageSize);
BeanUtil.setProperty(t, "pageSize", pageSize);
for (int i = 0; i < loopCount; i++) {
//开始页
BeanUtil.setProperty(t, "pageNum", PageUtil.getStart(i + 1, pageSize));
//获取Excel导出信息
List<K> kList = this.getExportDetail(t);
WriteSheet writeSheet = EasyExcel.writerSheet(fileName).head(k).build();
writer.write(kList, writeSheet);
}
} catch (Exception e) {
String msg = "导出" + fileName + "异常";
log.error(msg, e);
thrownew Exception(msg + e);
} finally {
if (writer != null) {
writer.finish();
}
}
}
public com.alibaba.excel.ExcelWriter getExcelWriter(HttpServletResponse response, String fileName)throws IOException {
response.setContentType("application/vnd.ms-excel");
response.setCharacterEncoding("utf-8");
// 这里URLEncoder.encode可以防止中文乱码 当然和easyexcel没有关系
String fileNameUtf = URLEncoder.encode(fileName, "UTF-8").replaceAll("\\+", " ");
response.setHeader("Content-disposition", "attachment;filename*=utf-8''" + fileNameUtf + ".xlsx");
return EasyExcel.write(response.getOutputStream()).build();
}
/**
* （模版导出）
*
* @param t
* @param fileName
* @param response
*/
publicabstractvoidcomplexFillWithTable(T t, String fileName, HttpServletResponse response);
/**
* 查询导出总条数
*
* @param t
* @return
*/
publicabstractintcountExport(T t);
/**
* 查询导出数据
*
* @param t
* @return
*/
publicabstract List<K> getExportDetail(T t);
}







ExportImpl导出实现方法

@Service
@Slf4j
public classExportImplextendsAbstractExport{
@Autowired
private ExportQueue exportQueue;
@Override
publicvoidexport(ExportUser sysUser)throws InterruptedException {
//导出
log.info("导出文件方法执行～～～～～～～～～");
// export(response,pageSize,t,k,fileName);
LinkedList<ExportUser> queue = exportQueue.add(sysUser);
log.info("导出队列：" + queue);
//休眠时间稍微设置大点，模拟导出处理时间
Thread.sleep(20000);
//导出成功后移除当前导出用户
ExportUser nextSysUser = exportQueue.getNextSysUser();
log.info("移除后获取下一个排队的用户: " + nextSysUser.getUserName());
}
@Override
publicvoidexport(HttpServletResponse response, int pageSize, Object o, class k, String fileName)throws Exception {
super.export(response, pageSize, o, k, fileName);
}
@Override
public ExcelWriter getExcelWriter(HttpServletResponse response, String fileName)throws IOException {
returnsuper.getExcelWriter(response, fileName);
}
@Override
publicvoidcomplexFillWithTable(Object o, String fileName, HttpServletResponse response){
}
@Override
publicintcountExport(Object o){
return0;
}
@Override
public List getExportDetail(Object o){
returnnull;
}
}











测试Controller

@RestController
@RequestMapping("/export")
@Slf4j
public classExportController{
@Autowired
private ExportImpl export;
@PostMapping("/exportFile")
publicvoidexportFile(){
new Thread(new Runnable() {
@SneakyThrows
@Override
publicvoidrun(){
Thread thread1 = Thread.currentThread();
ExportUser sysUser =new ExportUser();
sysUser.setUserName(thread1.getName());
export.export(sysUser);
}
}).start();
}
}




测试结果

通过请求测试方法，限制了我们导出队列最大限制10次，队列场长度超过10次则无法进行继续提交；

第一次请求和第二次请求，间隔10秒，第一个用户导出完成后出列，下一个排队用户在队列首位，在进行导出请求排在上一个用户后面；

4

总结

其余的还未实现，导出文件的表的设计、oss文件上传、用户导出文件下载，还有高并发的场景下会不会出现什么问题，这些都还没有太考虑进去；实现的方式应该挺多的，Redis的队列应该也是可以的，这里仅仅提供一个实现思路。

来源：juejin.cn/post/7259249904777838629

— END —

PS：防止找不到本篇文章，可以收藏点赞，方便翻阅查找哦。

往期推荐