网站聚焦爬虫研究.pdfVIP

要 近年来，随着互联网的快速发展，网络信息呈指数级的增长，这种信息量的 飞速增长对通用网络爬虫和搜索引擎呈现了空前的挑战，越来越多的人希望能够 快速且有效地找到白己所需要的信息。聚焦爬虫是一种面向主题的信息搜集系 ， 可以根据用户需要从互联网上自动搜集到主题相关信息，在主题搜索引擎、站点 结构分析等方面取得越来越广泛的应用。 传 的聚焦爬虫抓取的目标是与某一特定主题内容相关的网页，而在有些应 用中，如网络目录，更多的是给用户提供主题相关网站。随着互联网信息的日益 增多，目前靠人工来维护的网络目录越来越显得低效和不可行。为了实现具有自 动维护功能的网络目录，将抓取目标锁定为主题网站的网站聚焦爬虫应运而生。 网站聚焦爬虫是在现有聚焦爬虫的基础上加入网站选取和分类机制，从用户 提供的种子网站开始，以Best-first 原则获取最佳候选网站并开始新一轮的爬行分 类。本文进行了面向中文网站的网站聚焦爬虫的设计与实现，详细介绍了其各部 分的功能和设计原理。实验表明该爬虫能有效的获取主题网站，为实现自动网络 目录提供了一种解决方案。 与传 网站聚集爬虫不同的是，本文介绍的网站聚集爬虫引入了一种新的外 部爬行策略，即在传 的外部爬行策略只考虑平均跨站链接权重的基础上引入网 站的跨站链接数以进行候选网站的选取。实验结果表明，改进后的网站聚集爬虫 能够优先访问候选网站队列中的权威主题网站，并能进一步提高获取主题网站的 准确率。 关键词：网站聚焦爬虫 网站分类 web 挖掘 1 Abstract With the rapid development of the world wide web in recent years, information in the internet growth exponentially. This rapid growth poses unprecedented scaling challenges for general-purpose crawlers and search engines. More and more people hope to achieve the information they need quickly and effectively. Focused crawler is a subj ect-oriented information retrieval system. It can meet the users need and retrieve information that is relevant to some specific subj ects from the web automatically. Traditional focused crawler is targeting web pages that are relevant to some specific topics. But some applications, such as web directory, are providing users with relevant websites. With the rapid growth of the www, web directory which maintained manually are becoming more and more inefficient and unavailable. To implement a web directory which can maintain automatically, focused website crawler which retrieve only relevant website appeared. Focused website crawler is built on the foundation of a traditional focused crawler with website selecting and classif