原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
北邮毕设答辩_网络爬虫设计及算法研究
无忧PPT整理发布 网络爬虫设计及相应算法研究 姓名： 指导教师： 项目介绍 1 完成内容 4 选题背景 2 主要工作 3 总结及展望 5 项目名称： 网络爬虫设计及相应算法研究 The Research and Design of Web Crawler 项目类别：软件研究设计类 项目来源：科研项目 项目简介 1 项目介绍 1 完成内容 4 选题背景 2 主要工作 3 总结及展望 5 搜索引擎介绍： 互联网的迅速发展，使得网上信息越来越多，搜索引擎正是为了解决在浩瀚的信息海洋中快速高效的寻找信息的问题。 搜索引擎是通过互联网搜索信息的重要途径，涉及到多个领域的理论和技术，具有很高的综合性和很强的挑战性。本课题研究的内容是搜索引擎的关键部分——网络爬虫。 选题背景 2 网络爬虫介绍： 网络爬虫是搜索引擎系统中十分重要的组成部分，它负责从互联网中搜集网页、采集信息，这些网页信息用于建立索引从而为搜索引擎提供支持，它决定着整个引擎系统的内容是否丰富，信息是否即时，因此其性能的优劣直接影响着搜索引擎的效果。 选题背景 2 学习爬虫的基本技术 网页抓取技术 网页去重技术 多线程技术 主要工作 3 网页抓取技术 宽度优先遍历算法和广度优先算法 PageRank算法——基于链接的搜索算法 主要工作 3 网页去重技术 Bloom Filter 算法 错误率估计 最优哈希函数个数 位数组大小 主要工作 3 多线程技术 多线程 半同步/半异步并发模式 多线程的问题 主要工作 3 项目介绍 1 完成结果 4 选题背景 2 主要工作 3 总结及展望 5 设计实现爬虫系统，并对系统性能就以下两方面进行比较分析： 在测试时间、最大连接数等基本参数相同的情况下，通过给爬虫系统设置不同的多线程数进行页面抓取，并对结果进行比较分析。 在测试时间、请求线程数、页面抓取线程数等基本参数相同的情况下，通过改变爬虫系统的最大页面连接数进行页面抓取，并对结果进行比较分析。 完成结果 4 1. 测试爬虫在测试时间、最大连接数等基本参数相同的情况下，采用单线程或多线程方式抓取页面的速度，结果如下表： 2. 测试爬虫系统在测试时间、请求线程数、页面抓取线程数等基本参数相同的情况下，采用不同的并行连接数抓取页面的速度，结果如下表： 完成结果 4 无忧PPT整理发布 *
文档评论（0）