征文模板.doc.docVIP

XXX设计 姓名 (单位 城市) 摘要：网络爬虫作为网页信息的提取工具，其抓取网页的质量和效率，严重影响着后续的工作。本文针对普通爬虫存在的不足，提出了一种实用的、高效的用于网络论坛的精确主题爬虫设计方法，该方法针对网络论坛的特点，采用模版配置的方法，对文章进行分析和抓取，在性能、准确率及全面率方面上都优于通用爬虫。 关键词：网络爬虫；主题爬虫 Design XXX Name (College of Software at Beijing Institute of Technology) Abstract: Network crawler as web information extraction tools, its grabbing web quality and efficiency, the serious influence subsequent work. The paper aimed at the shortcomings of ordinary crawler, puts forward a practical and efficient precise crawler theme method for the BBS, the method for the BBS characteristics, using the template configuration, analyze and crawl on the article. The method is better than the general crawler in the performance, accuracy and comprehensive rate Keywords: . Web crawler; Topic crawler 引言 网络爬虫是一个自动获取网页的程序。它为搜索引擎从互联网上下载网页，是搜索引擎的重要组成部分。爬虫程序的实现策略，运行效率直接影响搜索引擎的搜索结果。不同的搜索引擎，会根据对搜索结果的不同需求，选择最合适的爬行策略来搜集互联网上的信息。高效，优秀的爬虫程序可以使人们在互联网上寻找到更及时，更准确的信息。 主题爬虫系统的设计 互联网上的网页数量增长很快，早在2008年7月底，谷歌就宣布其搜集引擎索引到互联网上的网页数已经超过1万亿个，越来越庞大的数据量使通用搜索引擎的负担越来越重，于是专注于某一个或某几个领域的主题搜素引擎[7]应运而生。 2.1 系统模块设计 爬虫系统最主要的有三个子模块，具体见下图，其中，最重要的是爬行策略模块，他关系到整个系统的爬行效率及准确性。 图2-1 爬虫程序子模块 2.2 系统工作流程设计 设定好初始的URL集合，这些URL是系统启动时最先被抓取的;这些url的选取需要根据经验，人工选取，初始种子的质量对系统抓取效率有很大影响。 主题爬虫系统的实现 在上述设计的基础上，作者选择目前最为热门的中文网络论坛——天涯社区作为爬虫的目标，开发实现了针对网络论坛的主题爬虫系统。系统使用Java语言开发，使用了开源工具Myeclipse 5.5、displaytag、htmlparser、httpclient、struts、hibernate等，数据库使用MYSQL。 结束语 主题爬虫随着网络信息的突增起到了越来越重要的作用，它的应用也越来越广泛。本文在所设计的主题爬虫的网页分析和主题相关度分析方面和爬行策略方面都进行了有益的尝试，但因时间和精力有限，系统应该可以朝下面方向进行改善： 参考文献 Liu P,Pu C,Han W.XWPAP:An XML-enabled wrapper construction system for Web information sources.Proceedings of the 16th International Conference on Data Engineering,Washington,2000:611-622. Baumgartner R,Flesca S,Gottlob G..Visual web information extraction with Lixto.Proceedings of the 27th International Conference on Very Large Data Bases.San Franciso,2001:119-128. 王桂梅. 主题网络爬虫关键技术研究．哈尔滨：哈尔滨工业大学，2009 Chakrabarti S,Dom B,NDYK P. Enhanced hypertext categorization using hyper links. Proceedings