- 1、本文档共53页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
毕业设计(论文)开题报告
课题名称
网络爬虫设计与实现
学院名称
软件学院
专业名称
软件工程
学生姓名
指导教师
(内容包括:课题的来源及意义,国内外发展状况,本课题的研究目标、研究内容、研究方法、研究手段和进度安排,实验方案的可行性分析和已具备的实验条件以及主要参考文献等。)
课题的来源及意义
互联网是一个庞大的非结构化的数据库,将数据有效的检索并组织呈现出来有着巨大的应用前景。搜索引擎作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。但是,这些通用性搜索引擎也存在着一定的局限性。不同领域、不同背景的用户往往具有不同的检索目的和需求,通用搜索引擎所返回的结果包含大量用户不关心的网页。为了解决这个问题,一个灵活的爬虫有着无可替代的重要意义。
国内外发展状况
对于网络爬虫的研究从上世纪九十年代就开始了,目前爬虫技术已经趋见成熟,网络爬虫是搜索引擎的重要组成部分。网络上比较著名的开源爬虫包括Nutch,Larbin,Heritrix。网络爬虫最重要的是网页搜索策略(广度优先和最佳度优先)和网页分析策略(基于网络拓扑的分析算法和基于网页内容的网页分析算法)。
研究目标
本论文主要研究搜索引擎的搜索器(网络爬虫程序)的设计与实现,实现简单的可在后台自动运行的爬虫程序。
可以多线程进行抓取。
可以进行面向主题的抓取。
四.研究内容
本课题研究的内容是如何使网络爬虫灵活高效。
如何具备更强的抓取能力。
如何分辨重复的网页内容。
如何确定主题相关性。
对于网络时延等的处理。
五.研究方法
网络爬虫应用宽度搜索技术。对url进行分析,去重。网络爬虫使用多线程技术,让爬虫具备更强大的抓取能力。网络爬虫还要完成信息提取任务,对于抓取回来的网页提取出来新闻等信息。对网络爬虫的连接网络设置连接及读取时间,避免无限制的等待。研究网络爬虫的原理并实现爬虫的相关功能。
研究手段
参考网上开源的网络爬虫和各种网络爬虫相关的书籍,在windows系统环境下开发。
本课题进度安排:
2010.12.20—2011.03.10 查阅资料完成任务书 ,完成开题报告
2011.03.11—2011.03.12 开题报告会
2011.03.13—2011.04.24 查阅资料,进行论文基本章节的写作,完成初稿, 并完成进行代码编写
2011.04.25—2011.04.30 毕业设计中期报告会
2011.05.01—2011.05.22 系统设计结束并再次检查系统的可靠性。
2011.05.23—2011.06.22 完成论文及答辩
本课题可行性分析
网络爬虫目前已经比较普遍,国内外有众多对网络爬虫的研究成果,大部分的技术难题已经有解决方案。所以本课题的可行性较高。
实验条件
Windows 操作系统 ;互联网
主要参考文献
[1]Winter.中文搜索引擎技术解密:网络蜘蛛 [M].北京:人民邮电出版社,2004年.
[2]Sergey等.The Anatomy of a Large-Scale Hypertextual Web Search Engine [M].北京:清华大学出版社,1998年.
[3]Wisenut.WiseNut Search Engine white paper [M].北京:中国电力出版社,2001年.
[4]Gary R.Wright W.Richard Stevens.TCP-IP协议详解卷3:TCP事务协议,HTTP,NNTP和UNIX域协议 [M].北京:机械工业出版社,2002 年1月.
[5]HYPERLINK /search_pub.php?key=key2=罗刚 王振东category=01罗刚 王振东.HYPERLINK /product.aspx?product_idef=search-1-pub自己动手写网络爬虫[M].北京:清华大学出版社,2010年10月.
[6]HYPERLINK /search_pub.php?key=key2=李晓明category=01李晓明,HYPERLINK /search_pub.php?key=key2=闫宏飞category=01闫宏飞,HYPERLINK /search_pub.php?key=key2=王继民category=01王继民.HYPERLINK /product.aspx?product_id=9064323ref=search-1-pub搜索引擎:原理、技术与系统——华夏英才基金学术文库[M].北京:HYPERLINK /search_pub.php?key=key3=科学出版社category=01科学出版社,2005年04月.
选题是否合适: 是□ 否□
课题能否实现: 能
您可能关注的文档
- 图案设计教学反思.doc
- 图的遍历操作实验报告.docx
- 图的随机生成及欧拉(回)路的确定.doc
- 图根控制测量实习报告.doc
- 图书馆管理系统UML.doc
- 图书馆年终工作总结.doc
- 图书管理系统课程设计 (1).doc
- 图书管理系统-用户使用说明书.docx
- 土地供需预测.doc
- 土地资源评价.doc
- 国开景区管理作业2试题及答案.pdf
- 国开景区管理作业1-4试题及答案.pdf
- 河南开放大学本科《地域文化(本)》作业练习1-3试题及答案.pdf
- 2024年大型游乐设施操作证考试题库及答案很全.pdf
- 2024年门座式起重机司机考试题库及答案.pdf
- 2022-2023学年河北省衡水市武强中学高二(下)期末数学试卷【答案版】.docx
- 2022-2023学年河北省保定市崇德实验中学高二(下)期末数学试卷【答案版】.docx
- 江西省2017年中小学教师招聘考试高中化学试卷及答案.docx
- 2024年河北省八年级中考生物真题(解析版).docx
- 2024年南阳市社会保险中心(唐河县企业养老保险分中心)(参公)一级科员招录1人《行政职业能力测验》高频考点、难点(答案详解版).docx
文档评论(0)