全自动网页信息采集系统.pdfVIP

第38 卷第2 期 长春理工大学学报 （自然科学版） Vol.38 No.2 2015 年4 月 Journal of Changchun University of Science and Technology （Natural Science Edition ） Apr.2015 全自动网页信息采集系统 徐春凤，王艳春，翟宏宇 （长春理工大学 计算机科学技术学院，长春 130022） 摘 要：随着网络时代的快速发展，用户对搜索引擎、网页的内容和大数据处理等有了更多的要求。从海量的互联网信息 中选取最符合要求的信息成为了新的热点。基于一个开源的、Java开发的、可扩展的Web爬虫项目—Heritrix，进行扩展抓 取用户需要的网页，深入研究了信息采集技术。利用Heritrix的可扩展性，来实现用户的抓取。通过分析Heritrix的工作流 程，模块划分以及源码设计，基于Heritrix扩展抽取面向商品信息的网页，配合HtmlParser对网页内容进行解析，有效的提 取商品关键信息后存入数据库以供检索。 关键词：Heritrix；HtmlParser；网络爬虫；信息提取 中图分类号： TP393.02 文献标识码：A 文章编号：1672-9870（2015）02-0151-04 AutomaticExtractionSystemof WebpageInformation XUChunfeng，WANGYanchun，ZHAI Hongyu （SchoolofComputerScienceandTechnology，ChangchunUniversityofScienceandTechnology，Changchun130022） Abstract：With the rapid development of the internet age，users have put forward more requirements for search en- gines，content of webpage and large data processing etc. Selecting the required information from the internet information with mass data has become a new hotspot. In this paper，extensible webcrawler project- Heritrix，which is an open source and developed by Java，is extended to capture user webpage. The information collection technology is further studied. Extendibility of Heritrix is used to realize a user’s capture. Through the analysis of the working process of Heritrix，module allocation and source code design，based on webpage extraction facing product information with Heri- trix extendibility and webpage content analysis with HtmlParser，key product information is extracted effectively，which isstoredinthe database for retrieval. Keywords：Heritrix；HtmlParser；web crawler；informationextraction 搜索引擎存在一定的局限性，会导致搜索的结 的信息如果在数据库中有相应的记录，就可以直接 果不能很好满足用户的需求。例如，在一个搜索引 从数据库中检索出相应的信息提交给用户，最后给 擎中，搜索一个信息，互联网中会搜到成百上千的相 用户提