在项目的开发中涉及到大文件的上传和下载,但是在上传大文件经常遇到上传一半由于网络或者其他一些原因上传失败。然后又得重新上传。在项目中这样的客户体验不是很好,因此对大文件上传:秒传、断点续传、分片上传进行详细的介绍和说明。
秒传(上传和下载) 秒传的原理先发送原文件md5值,然后在依次上传整个分割文件,上传过程中的利用多线程在后天不断的进行的传输并校验是否完整,当传输完成了依次,在合并文件,检查时候与原文件一致。
a、利用redis的set方法存放文件上传状态,其中key为文件上传的md5,value为是否上传完成的标志位,
b、当标志位true为上传已经完成,此时如果有相同文件上传,则进入秒传逻辑。如果标志位为false,则说明还没上传完成,此时需要在调用set的方法,保存块号文件记录的路径,其中key为上传文件md5加一个固定前缀,value为块号文件记录路径
分片上传分片上传,就是将所要上传的文件,按照一定的大小,将整个文件分隔成多个数据块(我们称之为Part)来进行分别上传,上传完之后再由服务端对所有上传的文件进行汇总整合成原始的文件。
分片上传的场景1.大文件上传,2.网络环境环境不好,存在需要重传风险的场景
断点续传断点续传是在下载或上传时,将下载或上传任务(一个文件或一个压缩包)人为的划分为几个部分,每一个部分采用一个线程进行上传或下载,如果碰到网络故障,可以从已经上传或下载的部分开始继续上传或者下载未完成的部分,而没有必要从头开始上传或者下载。本文的断点续传主要是针对断点上传场景。
应用场景断点续传可以看成是分片上传的一个衍生,因此可以使用分片上传的场景,都可以使用断点续传。
实现断点续传的核心逻辑在分片上传的过程中,如果因为系统崩溃或者网络中断等异常因素导致上传中断,这时候客户端需要记录上传的进度。在之后支持再次上传时,可以继续从上次上传中断的地方进行继续上传。
为了避免客户端在上传之后的进度数据被删除而导致重新开始从头上传的问题,服务端也可以提供相应的接口便于客户端对已经上传的分片数据进行查询,从而使客户端知道已经上传的分片数据,从而从下一个分片数据开始继续上传。
Large_file_transfer项目设计图大文件上传:秒传、断点续传、分片上传 - 知乎
springboot实战之文件分片上传、断点续传、秒传 - 云+社区 - 腾讯云
https://github.com/lyb-geek/springboot-learning/tree/master/springboot-slice-upload