面向垂直搜索的聚焦爬虫分析研究及应用.pdfVIP

A Dissertation Submitted to Zhejiang University for the Degree of Master of Engineering TITLE: Research and Application of Focusing Crawler which Faced Vertical Search Engine Author: Lv Hao Supervisor: Prof. Kong Fansheng Subject: Software Engineering College: College of Software Technology Submitted Date: Feb 20, 2008 摘要 随着搜索引擎技术的发展，服务于特定领域的垂直搜索应用开始兴起。作为 注重专业化与结构分析的垂直搜索技术，其前提是建立在与主题相关的结构化的 元数据信息之上。因此，如何准确、及时地获取结构化数据信息成为了当前垂直 搜索领域研究的一大课题。 网络爬虫作为搜索引擎信息源的提供者，能够自动提取网页超链接，并负责 下载相应的 Web 信息。但它在结构化数据信息的获取方面，还不能满足垂直搜索 引擎的需要。为此，本文提出用面向垂直搜索的聚焦爬虫技术来解决上述问题。 在简单介绍垂直搜索与网络爬虫的技术背景之后，围绕面向垂直搜索的聚焦 爬虫这一中心，本文完成了下列主要研究及应用工作： 1) 系统地描述了面向垂直搜索的聚焦爬虫的概念、主要工作原理及流程、 关键技术分析，还探讨了其发展趋势。 2) 针对聚焦爬虫最核心基础的两大工作环节：网页抓取和信息提取，提倡 借鉴国外先进的开源项目技术：网络爬虫 Heritrix 和解析工具 Web-Harvest 。同时 也为后续的应用作了技术铺垫。 3) 在现有的研究基础上，引入一个实际的职位招聘垂直搜索引擎项目，并 结合其中一个具体的案例站点（即“智联招聘”网站）的应用需求，规范化设计 并实现一套用来解决其结构化数据信息获取的聚焦爬虫系统。该系统具备良好的 可扩展性和可修改性，有较好的实际应用价值。 本文的创新点主要在于合理地整合运用了一些开源项目，发挥它们各自所 长，给出了一个实用的面向垂直搜索的聚焦爬虫解决方案。 关键词 垂直搜索，聚焦爬虫，结构化数据提取，Heritrix ，Web-Harvest i Abstract With the development of Search Engine, serves in the specific domain vertical search application starts to emerge. As a vertical search technique which pays great attention in specialized and the structure analysis, Its premise is the establishment in and above the structurized data information which relate to the subject. So, how to accurate and promptly gain the structurized data information has become a current vertical search area research big topic.