大文件传输系统建设方案（技术方案与代码示例）
一、项目背景与核心需求
作为公司项目负责人，针对产品部门提出的100G级大文件传输需求，需构建一套高兼容性、高稳定性、全浏览器支持的解决方案。核心需求如下：
功能需求：
- 单文件100G+传输，支持文件夹层级结构保留
- 断点续传（浏览器刷新/关闭后进度不丢失）
- 非打包下载（支持10万+文件并发下载）
- 加密传输（SM4/AES可配置）与自动解密下载
兼容性需求：
- 浏览器：IE8+、Chrome、Firefox、360安全浏览器
- 操作系统：Windows 7/10、macOS、Linux（CentOS/RedHat）
- 后端：JSP（现有系统）+ Spring Boot（新项目）
- 前端：Vue2/Vue3/React（通过微前端集成）
部署与成本需求：
- 阿里云ECS+OSS私有云部署
- 预算≤98万买断源代码授权
- 供应商需提供5个国企合作证明材料
二、技术架构设计
1.分层架构
┌───────────────┐ ┌───────────────┐ ┌───────────────┐ │ 浏览器端 │ │ 应用服务器 │ │ 存储层 │ │ (IE8/Vue2) │←──→│ (JSP/Spring) │←──→│ (阿里云OSS) │ └───────────────┘ └───────────────┘ └───────────────┘ ↑ ↑ ↑ │ 分片上传组件 │ 加密控制模块 │ 对象存储适配器 │ │ 进度持久化 │ 算法切换服务 │ 多云存储路由 │2.关键技术选型
- 分片传输：自定义协议（兼容IE8的XMLHttpRequest Level 2）
- 进度持久化：
- 现代浏览器：IndexedDB
- IE8：UserData对象（通过Flash插件增强）
- 加密方案：
- 传输层：TLS 1.2 + SM4-CBC（国密SSL证书）
- 存储层：AES-256-GCM（阿里云KMS集成）
三、核心功能实现
1.文件夹层级传输（非打包方案）
前端实现（Vue2示例）：
// 递归处理文件夹结构classFolderUploader{constructor(folderPath){this.folderPath=folderPath;this.fileTree=[];}asyncscanFolder(){constentries=awaitthis.readDirectory(this.folderPath);for(constentryofentries){constfullPath=`${this.folderPath}/${entry.name}`;if(entry.isDirectory){constsubTree=newFolderUploader(fullPath);awaitsubTree.scanFolder();this.fileTree.push({type:'directory',name:entry.name,children:subTree.fileTree});}else{this.fileTree.push({type:'file',name:entry.name,path:fullPath,size:entry.size});}}}// IE8兼容的目录读取（通过ActiveXObject）readDirectory(path){returnnewPromise((resolve)=>{if(window.ActiveXObject){constfso=newActiveXObject("Scripting.FileSystemObject");constfolder=fso.GetFolder(path);constentries=[];conste=newEnumerator(folder.Files);for(;!e.atEnd();e.moveNext()){entries.push({name:e.item().Name,size:e.item().Size,isDirectory:false});}// 类似处理子目录...resolve(entries);}else{// 现代浏览器使用File System Access APIresolve([]);}});}}后端实现（JSP示例）：
<%-- 文件分片接收接口 --%> <%@ page import="com.aliyun.oss.OSSClient" %> <%@ page import="com.aliyun.oss.model.ObjectMetadata" %> <% String fileId = request.getParameter("fileId"); int chunkNumber = Integer.parseInt(request.getParameter("chunk")); String tempPath = "/tmp/upload/" + fileId; // 保存分片到本地临时目录 try (InputStream is = request.getInputStream(); FileOutputStream os = new FileOutputStream(tempPath + "-" + chunkNumber)) { byte[] buffer = new byte[4096]; int bytesRead; while ((bytesRead = is.read(buffer)) != -1) { os.write(buffer, 0, bytesRead); } } // 记录已上传分片（使用Redis持久化） Jedis jedis = new Jedis("localhost"); jedis.sadd("upload:" + fileId, String.valueOf(chunkNumber)); %>2.断点续传持久化
IE8兼容方案：
// 使用Flash的SharedObject实现本地存储functionsaveProgressIE8(fileId,chunks){try{varflash=document.getElementById("storageFlash");flash.setData(fileId,JSON.stringify(chunks));}catch(e){// 降级方案：通过Cookie存储（仅支持4KB）document.cookie=`progress_${fileId}=${JSON.stringify(chunks).substring(0,4000)}`;}}3.加密传输与存储
SM4加密工具类（JSP端）：
// SM4加密工具类（需引入Bouncy Castle）publicclassSm4Util{privatestaticfinalStringALGORITHM="SM4/ECB/PKCS5Padding";publicstaticbyte[]encrypt(byte[]data,byte[]key)throwsException{Security.addProvider(newBouncyCastleProvider());SecretKeySpeckeySpec=newSecretKeySpec(key,"SM4");Ciphercipher=Cipher.getInstance(ALGORITHM,"BC");cipher.init(Cipher.ENCRYPT_MODE,keySpec);returncipher.doFinal(data);}// 阿里云OSS上传前加密publicstaticvoiduploadWithEncryption(OSSClientossClient,StringbucketName,StringobjectKey,Filefile){try(InputStreamis=newFileInputStream(file)){byte[]key="1234567890abcdef".getBytes();// 实际应从KMS获取byte[]encrypted=Sm4Util.encrypt(IOUtils.toByteArray(is),key);ObjectMetadatametadata=newObjectMetadata();metadata.setContentLength(encrypted.length);metadata.addUserMetadata("x-oss-meta-algorithm","SM4");ossClient.putObject(bucketName,objectKey,newByteArrayInputStream(encrypted),metadata);}catch(Exceptione){thrownewRuntimeException("加密上传失败",e);}}}四、兼容性保障方案
1.浏览器兼容矩阵
| 浏览器 | 核心方案 | 回退方案 |
|---|---|---|
| IE8 | Flash+ActiveX控件 | 纯HTTP分块上传 |
| Chrome/Firefox | Web Worker多线程 | Fetch API |
| 360浏览器 | 兼容模式检测 | 强制使用Chrome内核 |
2.操作系统适配
- Windows 7：
- 禁用TLS 1.3，强制使用TLS 1.2
- 安装.NET Framework 3.5 SP1（ActiveX依赖）
- Linux：
- 提供RPM/DEB安装包
- 预装libgcrypt（SM4算法依赖）
五、供应商评估标准
资质要求：
- 提供5个国企项目合同（需包含金融/政府客户）
- 阿里云技术认证合作伙伴资质
- SM4算法商用密码产品认证
交付物清单：
- 完整源代码（含JSP标签库）
- IE8兼容性测试报告
- 100G文件传输压力测试数据
六、项目实施计划
POC验证阶段（3周）：
- 在阿里云ECS搭建测试环境
- 完成IE8/CentOS/MySQL兼容性验证
核心功能开发（6周）：
- 实现分片上传/下载基础框架
- 完成SM4加密传输模块
兼容性适配阶段（4周）：
- 适配360浏览器/统信UOS
- 通过等保2.0二级安全测评
七、风险控制
IE8兼容风险：
- 预留15%预算用于采购第三方兼容性组件（如TinyMCE的IE补丁）
性能瓶颈风险：
- 在阿里云部署SLB负载均衡
- 采用OSS多副本存储策略提升下载速度
本方案通过模块化设计，可快速集成到公司200+现有项目中，预计降低70%以上重复开发成本。建议优先选择具有金融项目实施经验的供应商（如科蓝软件、长亮科技等），确保系统稳定性达到99.99%可用性要求。
导入项目
导入到Eclipse：点南查看教程
导入到IDEA：点击查看教程
springboot统一配置：点击查看教程
工程
NOSQL
NOSQL示例不需要任何配置，可以直接访问测试
创建数据表
选择对应的数据表脚本，这里以SQL为例
修改数据库连接信息
访问页面进行测试
文件存储路径
up6/upload/年/月/日/guid/filename
效果预览
文件上传
文件刷新续传
支持离线保存文件进度，在关闭浏览器，刷新浏览器后进行不丢失，仍然能够继续上传
文件夹上传
支持上传文件夹并保留层级结构，同样支持进度信息离线保存，刷新页面，关闭页面，重启系统不丢失上传进度。
批量下载
支持文件批量下载
下载续传
文件下载支持离线保存进度信息，刷新页面，关闭页面，重启系统均不会丢失进度信息。
文件夹下载
支持下载文件夹，并保留层级结构，不打包，不占用服务器资源。
下载示例
点击下载完整示例