基于贝叶斯分类的主题爬虫-上海师范大学学报.PDFVIP

4 2 6 ( ) Vol ． 42 ，No． 6 第 卷第 期 上海师范大学学报 自然科学版 2 0 1 3 1 2 Journal of Shanghai Normal University (Natural Sciences) Dec ． ，2 0 1 3 年 月 基于贝叶斯分类的主题爬虫 * ， 海光 贾海军 陈 ( ， 200234) 上海师范大学信息与机电工程学院 上海 : ， ， ， 摘 要 随着网络的高速发展 其信息资源越来越庞大 面对巨量的信息库 搜索引擎起着重 要的作 ． ， ， 用 主题爬虫技术作为搜索引擎的主要核心部分 计算搜索结果与搜索主题的关系 该 ． ， 关系被称为相关性 一般主题爬虫方法只计算网页内容与搜索主题的相关性 作者所提主题爬 ， ， ， 虫 通过链接内容和锚文本内容计算链接的重要性 然后利用贝叶斯分类器对链接进行分类 ， ， 最后利用余弦相似函数计算网页的相关性 如果相关值大于阀值 则认为该网页与预定主题相 ， ． : ． 关 否则不相关 实验结果证明 所提出主题爬虫方法可以获得很高的精确度 : ; ; 关键词 主题爬虫 贝叶斯分类器 网页相关性 : : : 中图分类号 TP 393． 0 文献标识码 A 文章编号 1000-5137 (2013)06-0595-04 0 引 言 ［1］ 虫 ， ， 网络爬 是采取一定的策略 自动的抓取网页信息的计算机程序 其原理是从一个或若干初始 ， ， ， ， 了一个 网页的链接开始 获得初始网页中的链接 逐个抓取其他的网页 网页通过超链接相互连接 组成 、 ， ， ． 庞大 无形的网络 网络爬虫就像一只蜘蛛一样在这个网络中爬来爬去 所以网络爬虫又称蜘蛛爬虫 随 ， ， ， ． 着互联网技术的发展 网络信息量越来越大 而且信息的种类也越来越多 分类方法也越来越细 在这样 ， ， ， ， 的海量信息中寻找信息时 普通的网络爬虫花费时间长 占用带宽多 且消耗系统资源 为了快速查找信 ，