主题网络爬虫的研究综述.docVIP

主题网络爬虫的研究综述 　　摘要：首先给出了主题网络爬虫的定义和研究目标；然后系统分析了近年来国内外主题爬虫的研究方法和技术，包括基于文字内容的方法、基于超链分析的方法、基于分类器预测的方法以及其他主题爬行方法，并比较了各种方法优缺点；最后对未来的研究方向进行了展望。?? 　　关键词：主题网络爬虫；信息检索；Web挖掘?? 　　中图分类号：TP391文献标志码：A 　　文章编号：1001-3695(2007)10-0026-04 　　 　　0引言?? 　　 　　随着网络上海量信息的爆炸式增长，通用搜索引擎面临着索引规模、更新速度和个性化需求等多方面的挑战[1，2]。面对这些挑战，适应特定主题和个性化搜索的主题网络爬虫(focused crawler or topical crawler)应运而生[3，4]。基于主题网络爬虫的搜索引擎（即第四代搜索引擎)已经成为当前搜索引擎和Web 信息挖掘中的一个研究热点和难点。?? 　　通用网络爬虫的目标就是尽可能多地采集信息页面，而在这一过程中它并不太在意页面采集的顺序和被采集页面的相关主题。这需要消耗非常多的系统资源和网络带宽，并且对这些资源的消耗并没有换来采集页面的较高利用率。主题网络爬虫则是指尽可能快地爬行、采集尽可能多的与预先定义好的主题相关的网页。主题网络爬虫可以通过对整个Web按主题分块采集，并将不同块的采集结果整合到一起，以提高整个Web的采集覆盖率和页面利用率。?? 　　 　　1主题爬虫的定义和研究目标?? 　　 　　定义1网络爬虫是一个自动提取网页的程序，它为搜索引擎从Web上下载网页，是搜索引擎的重要组成部分。通用网络爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL列表；在抓取网页的过程中，不断从当前页面上抽取新的URL放入待爬行队列,直到满足系统的停止条件。?? 　　定义2主题网络爬虫就是根据一定的网页分析算法过滤与主题无关的链接，保留主题相关的链接并将其放入待抓取的URL队列中；然后根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。所有被网络爬虫抓取的网页将会被系统存储，进行一定的分析、过滤，并建立索引，对于主题网络爬虫来说，这一过程所得到的分析结果还可能对后续的抓取过程进行反馈和指导。?? 　　定义3如果网页p中包含超链接l，则p称为链接l的父网页。?? 　　定义4如果超链接l指向网页t，则网页t称为子网页，又称为目标网页。?? 　　主题网络爬虫的基本思路就是按照事先给出的主题，分析超链接和已经下载的网页内容，预测下一个待抓取的URL以及当前网页的主题相关度，保证尽可能多地爬行、下载与主题相关的网页，尽可能少地下载无关网页。相对于通用网络爬虫，主题网络爬虫需要解决以下四个主要问题：?? 　　a)如何描述或定义感兴趣的主题（即抓取目标）？?? 　　b)怎样决定待爬行URL的访问次序？许多主题网络爬虫根据己下载网页的相关度，按照一定原则将相关度进行衰减，分配给该网页中的子网页，而后将其插入到优先级队列中。此时的爬行次序就不是简单地以深度优先或广度优先顺序，而是按照相关度大小排序，优先访问相关度大的URL。不同主题网络爬虫之间的区别之一就是如何计算URL的爬行次序。?? 　　c)如何判断一个网页是否与主题相关？对于待爬行或己下载的网页可以获取它的文本内容，所以可以采用文本挖掘技术来实现。因此不同主题网络爬虫间的区别之二就是如何计算当前爬行网页的主题相关度。?? 　　d)怎样提高主题网络爬虫的覆盖度？如何穿过质量不好(与主题不相关)的网页得到与用户感兴趣主题相关的网页，从而提高主题资源的覆盖度？?? 　　对于主题网络爬虫性能的评价，目前主要是基于harvest rate来评价。Harvest rate就是主题相关网页数目占所有抽取网页总数的比率:?? 　　harvest rate=numbers of relevant??pages/numbers of all retrival pages(1)?? 　　 　　2主题网络爬虫研究进展?? 　　 　　为了高效地抓取与主题相关的网络资源，研究者提出了许多主题定制爬行策略和相关算法，使得网络爬虫尽可能多地爬行主题相关的网页，尽可能少地爬行无关网页，并且确保网页的质量。通过对这些方法进行比较分析，本文将它们分为如下四类。?? 　　2．1基于文字内容的启发式方法?? 　　基于文字内容的启发策略主要是利用了Web网页文本内容、URL字符串、锚文字等文字内容信息。不同的分析方法构成了不同的启发式策略和相应的算法。主要包括：?? 　　a）Best first search方法。基本思想是给定一个待爬行URL队列，