- 1、本文档共9页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
java多线程断点续传
annegu做了一个简单的Http多线程的下载程序,来讨论一下多线程并发下载以及断点续传的问题。 这个程序的功能,就是可以分多个线程从目标地址上下载数据,每个线程负责下载一部分,并可以支持断点续传和超时重连。 下载的方法是download(),它接收两个参数,分别是要下载的页面的url和编码方式。在这个负责下载的方法中,主要分了三个步骤。第一步是用来设置断点续传时候的一些信息的,第二步就是主要的分多线程来下载了,最后是数据的合并。 1、多线程下载: /** *//** */ public String download(String urlStr, String charset) { this.charset = charset; long contentLength = 0; CountDownLatch latch = new CountDownLatch(threadNum); long[] startPos = new long[threadNum]; long endPos = 0; try { // 从url中获得下载的文件格式与名字 this.fileName = urlStr.substring(urlStr.lastIndexOf("/") + 1); this.url = new URL(urlStr); URLConnection con = url.openConnection(); setHeader(con); // 得到content的长度 contentLength = con.getContentLength(); // 把context分为threadNum段的话,每段的长度。 this.threadLength = contentLength / threadNum; // 第一步,分析已下载的临时文件,设置断点,如果是新的下载任务,则建立目标文件。在第4点中说明。 startPos = setThreadBreakpoint(fileDir, fileName, contentLength, startPos); //第二步,分多个线程下载文件 ExecutorService exec = Executors.newCachedThreadPool(); for (int i = 0; i < threadNum; i++) { // 创建子线程来负责下载数据,每段数据的起始位置为 (threadLength * i + 已下载长度) startPos[i] += threadLength * i; /**//*设置子线程的终止位置,非最后一个线程即为(threadLength * (i + 1) - 1) 最后一个线程的终止位置即为下载内容的长度*/ if (i == threadNum - 1) { endPos = contentLength; } else { endPos = threadLength * (i + 1) - 1; } // 开启子线程,并执行。 ChildThread thread = new ChildThread(this, latch, i, startPos[i], endPos); childThreads[i] = thread; exec.execute(thread); } try { // 等待CountdownLatch信号为0,表示所有子线程都结束。 latch.await(); exec.shutdown(); // 第三步,把分段下载下来的临时文件中的内容写入目标文件中。在第3点中说明。 tempFileToTargetFile(childThreads); } catch (InterruptedException e) { e.printStackTrace(); } } 首先来看最主要的步骤:多线程下载。 首先从url中提取目标文件的名称,并在对应的目录创建文件。然后取得要下载的文件大小,根据分成的下载线程数量平均分配每个线程需要下载的数据量,就是threadLength。然后就可以分多个线程来进行下载任务了。 在这个例子中,并没有直接显示的创建Thread对象,而是用Executor来管理Thread对象,并且用CachedThreadPool来创建的线程池,当然也可以用FixedThreadPool。CachedThreadPool在程序执行的过程中会创建与所需数量相同的线程,当程序回收旧线程的时候就停止创建新线程。FixedThreadPool可以预先新建参数给定个数的线程,这样就不用在创建任务的时候再来创建
文档评论(0)