大家好，我是磊哥。
業務訴求：考慮到資料庫數據日漸增多，匯出會有全量數據的匯出，多人同時匯出可以會對服務效能造成影響，匯出涉及到mysql查詢的io操作，還涉及檔輸入、輸出流的io操作，所以對伺服器的效能會影響的比較大；結合以上原因，對匯出操作進行排隊；
剛開始拿到這個需求，第一時間想到就是需要維護一個FIFO先進先出的佇列，給定佇列一個固定size，在佇列裏面的人進行排隊進行數據匯出，匯出完成後立馬出佇列，下一個排隊的人進行操作；還考慮到異步，可能還需要建個檔匯出表，主要記錄檔的匯出情況，檔的存放地址，使用者根據檔列表情況下載匯出檔。
業務關系定義
分別是使用者、匯出佇列、匯出執行方法 ExportQueue：維護一條定長佇列，可以獲取佇列裏前後排隊的使用者，提供查詢，佇列如果已經滿了，其余的人需要進行等待 User資訊：排隊執行匯出方法對應使用者；Export類：定義匯出方法，異步執行，使用者可以透過匯出頁面檢視、下載，匯出的檔；
如果你近期準備面試跳槽，建議在ddkk.com線上刷題，涵蓋 一萬+ 道 Java 面試題，幾乎覆蓋了所有主流技術面試題，還有市面上最全的技術五百套，精品系列教程，免費提供。
具體程式碼實作
ExportQueue佇列
package com.example.system.config;
import com.example.system.api.domain.ExportUser;
import lombok.extern.slf4j.Slf4j;
import org.springframework.stereotype.Component;
import java.util.LinkedList;
@Slf4j
@Component
public class ExportQueue {
private final int MAX_CAPACITY = 10; // 佇列最大容量
private LinkedList<ExportUser> queue; // 使用者佇列
public ExportQueue(LinkedList<ExportUser> queue) {
this.queue = new LinkedList<>();
}
/**
* 排隊佇列添加
* @param sysUser
*/
public synchronized LinkedList<ExportUser> add(ExportUser sysUser) {
while (queue.size() >= MAX_CAPACITY) {
try {
log.info("當前排隊人已滿，請等待");
wait();
} catch (InterruptedException e) {
e.getMessage();
}
}
queue.add(sysUser);
log.info("目前匯出佇列排隊人數：" + queue.size());
notifyAll();
return queue;
}
/**
* 獲取排隊佇列下一個人
* @return
*/
public synchronized ExportUser getNextSysUser() {
while (queue.isEmpty()) {
try {
wait();
} catch (InterruptedException e) {
e.printStackTrace();
}
}
ExportUser sysUser = queue.remove();
notifyAll(); //喚醒
return sysUser;
}
}
AbstractExport匯出類
引入EasyExcel百萬級別的匯出功能
package com.example.system.config;
import cn.hutool.core.bean.BeanUtil;
import cn.hutool.core.util.PageUtil;
import com.alibaba.excel.EasyExcel;
import com.alibaba.excel.ExcelWriter;
import com.alibaba.excel.write.metadata.WriteSheet;
import com.example.system.api.domain.ExportUser;
import lombok.extern.slf4j.Slf4j;
import javax.servlet.http.HttpServletResponse;
import java.io.IOException;
import java.net.URLEncoder;
import java.util.List;
@Slf4j
public abstract class AbstractExport<T, K> {
public abstract void export(ExportUser sysUser) throws InterruptedException;
/**
* 匯出
*
* @param response 輸出流
* @param pageSize 每頁大小
* @param t 匯出條件
* @param k Excel內容實體類
* @param fileName 檔名稱
*/
public void export(HttpServletResponse response, int pageSize, T t, class<K> k, String fileName) throws Exception {
ExcelWriter writer = null;
try {
writer = getExcelWriter(response, fileName);
//查詢匯出總條數
int total = this.countExport(t);
//頁數
int loopCount = PageUtil.totalPage(total, pageSize);
BeanUtil.setProperty(t, "pageSize", pageSize);
for (int i = 0; i < loopCount; i++) {
//開始頁
BeanUtil.setProperty(t, "pageNum", PageUtil.getStart(i + 1, pageSize));
//獲取Excel匯出資訊
List<K> kList = this.getExportDetail(t);
WriteSheet writeSheet = EasyExcel.writerSheet(fileName).head(k).build();
writer.write(kList, writeSheet);
}
} catch (Exception e) {
String msg = "匯出" + fileName + "異常";
log.error(msg, e);
throw new Exception(msg + e);
} finally {
if (writer != null) {
writer.finish();
}
}
}
public com.alibaba.excel.ExcelWriter getExcelWriter(HttpServletResponse response, String fileName) throws IOException {
response.setContentType("application/vnd.ms-excel");
response.setCharacterEncoding("utf-8");
// 這裏URLEncoder.encode可以防止中文亂碼 當然和easyexcel沒有關系
String fileNameUtf = URLEncoder.encode(fileName, "UTF-8").replaceAll("\\+", " ");
response.setHeader("Content-disposition", "attachment;filename*=utf-8''" + fileNameUtf + ".xlsx");
return EasyExcel.write(response.getOutputStream()).build();
}
/**
* （模版匯出）
*
* @param t
* @param fileName
* @param response
*/
public abstract void complexFillWithTable(T t, String fileName, HttpServletResponse response);
/**
* 查詢匯出總條數
*
* @param t
* @return
*/
public abstract int countExport(T t);
/**
* 查詢匯出數據
*
* @param t
* @return
*/
public abstract List<K> getExportDetail(T t);
}
ExportImpl匯出實作方法
package com.example.system.service.impl;
import com.alibaba.excel.ExcelWriter;
import com.example.system.api.domain.ExportUser;
import com.example.system.config.AbstractExport;
import com.example.system.config.ExportQueue;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;
import javax.servlet.http.HttpServletResponse;
import java.io.IOException;
import java.util.LinkedList;
import java.util.List;
@Service
@Slf4j
public class ExportImpl extends AbstractExport {
@Autowired
private ExportQueue exportQueue;
@Override
public void export(ExportUser sysUser) throws InterruptedException {
//匯出
log.info("匯出檔方法執行～～～～～～～～～");
// export(response,pageSize,t,k,fileName);
LinkedList<ExportUser> queue = exportQueue.add(sysUser);
log.info("匯出佇列：" + queue);
//休眠時間稍微設定大點，模擬匯出處理時間
Thread.sleep(20000);
//匯出成功後移除當前匯出使用者
ExportUser nextSysUser = exportQueue.getNextSysUser();
log.info("移除後獲取下一個排隊的使用者: " + nextSysUser.getUserName());
}
@Override
public void export(HttpServletResponse response, int pageSize, Object o, class k, String fileName) throws Exception {
super.export(response, pageSize, o, k, fileName);
}
@Override
public ExcelWriter getExcelWriter(HttpServletResponse response, String fileName) throws IOException {
return super.getExcelWriter(response, fileName);
}
@Override
public void complexFillWithTable(Object o, String fileName, HttpServletResponse response) {
}
@Override
public int countExport(Object o) {
return 0;
}
@Override
public List getExportDetail(Object o) {
return null;
}
}
測試controller
package com.example.system.controller;
import com.example.system.api.domain.ExportUser;
import com.example.system.api.domain.SysUser;
import com.example.system.service.impl.ExportImpl;
import lombok.SneakyThrows;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RequestBody;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
@RestController
@RequestMapping("/export")
@Slf4j
public class ExportController {
@Autowired
private ExportImpl export;
@PostMapping("/exportFile")
public void exportFile() {
new Thread(new Runnable() {
@SneakyThrows
@Override
public void run() {
Thread thread1 = Thread.currentThread();
ExportUser sysUser =new ExportUser();
sysUser.setUserName(thread1.getName());
export.export(sysUser);
}
}).start();
}
}
測試結果
透過請求測試方法，限制了我們匯出佇列最大限制10次，佇列場長度超過10次則無法進行繼續送出；
如果你近期準備面試跳槽，建議在ddkk.com線上刷題，涵蓋 一萬+ 道 Java 面試題，幾乎覆蓋了所有主流技術面試題，還有市面上最全的技術五百套，精品系列教程，免費提供。
第一次請求和第二次請求，間隔10秒，第一個使用者匯出完成後出列，下一個排隊使用者在佇列首位，在進行匯出請求排在上一個使用者後面；
總結
其余的還未實作，匯出檔的表的設計、oss檔上傳、使用者匯出檔下載，還有高並行的場景下會不會出現什麽問題，這些都還沒有太考慮進去；實作的方式應該挺多的，Redis的佇列應該也是可以的，這裏僅僅提供一個實作思路；
來源：juejin.cn/post/7259249904777838629
🔥 磊哥私藏精品 熱門推薦 🔥
