毕业设计（论文）-Web资源自动获取技术研究与应用.docVIP

下载本文档

3
0
约1.78万字
约 25页
2017-12-07 发布于四川
举报
版权申诉

毕业设计（论文）-Web资源自动获取技术研究与应用.doc

1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击这里二次下载。
3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
7、VIP文档为合作方或网友上传，每下载1次，网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档

电子科技大学成都学院本科毕业设计论文 PAGE 第页 PAGE 22 本科生毕业论文题目： Web资源自动获取技术研究与应用目录 TOC \o 1-3 \h \z \u HYPERLINK \l _Toc262805658 1 绪论 PAGEREF _Toc262805658 \h 1 HYPERLINK \l _Toc262805659 1.1研究的背景与意义 PAGEREF _Toc262805659 \h 1 HYPERLINK \l _Toc262805660 1.2 本文研究的内容 PAGEREF _Toc262805660 \h 2 HYPERLINK \l _Toc262805661 2 网络爬虫的基本介绍 PAGEREF _Toc262805661 \h 2 HYPERLINK \l _Toc262805662 2.1 网络爬虫的概述 PAGEREF _Toc262805662 \h 2 HYPERLINK \l _Toc262805663 2.2 网络爬虫的搜索策略 PAGEREF _Toc262805663 \h 2 HYPERLINK \l _Toc262805664 2.3 分布式网络爬虫使用的关键技术 PAGEREF _Toc262805664 \h 3 HYPERLINK \l _Toc262805665 2.3.1 多线程与线程同步 PAGEREF _Toc262805665 \h 3 HYPERLINK \l _Toc262805666 2.3.2 Socket套接字协议 PAGEREF _Toc262805666 \h 4 HYPERLINK \l _Toc262805667 3 系统功能需求分析 PAGEREF _Toc262805667 \h 5 HYPERLINK \l _Toc262805668 3.1 HTTP/HTTPS 页面下载器 PAGEREF _Toc262805668 \h 5 HYPERLINK \l _Toc262805669 3.2 页面链接的提取和URL的过滤 PAGEREF _Toc262805669 \h 5 HYPERLINK \l _Toc262805670 3.3 URL管理器 PAGEREF _Toc262805670 \h 5 HYPERLINK \l _Toc262805671 3.4 URL 转发器 PAGEREF _Toc262805671 \h 6 HYPERLINK \l _Toc262805672 3.5 多线程网络爬虫 PAGEREF _Toc262805672 \h 6 HYPERLINK \l _Toc262805673 3.6 服务器端与客户端的通信与协调 PAGEREF _Toc262805673 \h 6 HYPERLINK \l _Toc262805674 4 系统的设计与实现过程 PAGEREF _Toc262805674 \h 7 HYPERLINK \l _Toc262805675 4.1 开发环境与工具 PAGEREF _Toc262805675 \h 7 HYPERLINK \l _Toc262805676 4.2 爬虫中服务器端的设计与实现 PAGEREF _Toc262805676 \h 7 HYPERLINK \l _Toc262805677 4.2.1功能流程图和代码段及其界面图 PAGEREF _Toc262805677 \h 7 HYPERLINK \l _Toc262805678 4.2.2 URL分发器的实现 PAGEREF _Toc262805678 \h 10 HYPERLINK \l _Toc262805679 4.2.3 ID生成器的实现 PAGEREF _Toc262805679 \h 11 HYPERLINK \l _Toc262805680 4.3 爬虫客户端的设计与实现 PAGEREF _Toc262805680 \h 11 HYPERLINK \l _Toc262805681 4.3.1 功能流程图和代码段及其界面图 PAGEREF _Toc262805681 \h 11 HYPERLINK \l _Toc262805682 4.3.2 URL转发器的实现 PAGEREF _Toc262805682 \h 13 HYPERLINK \l _Toc262805683 4.3.3 URL接收器及其消重的实现 PAGEREF _Toc262805683 \h 14 HYPERLINK \l _Toc262805684 4.3.4 恢复采集断点功能的实现