基于贝叶斯分类器主题爬虫研究.docVIP

基于贝叶斯分类器主题爬虫研究 　　摘 要:主题爬虫是实现定题搜索引擎的核心技术。提出了基于贝叶斯分类器实现主题爬虫的方法,介绍了基于贝叶斯分类器的主题爬虫的系统结构以及系统关键部分的实现,包括URL队列、爬行历史、页面下载以及页面分析,并重点介绍了基于贝叶斯分类器的主题相关度算法。爬虫使用改进的TF-IDF算法来提取网页内容的特征,并采用贝叶斯分类器计算其主题相关度。实验结果表明,在搜索大量网络资源的情况下,贝叶斯分类器比PageRank算法更适合用于实现主题爬虫。 　　关键词:贝叶斯; 分类器; 主题爬虫; 主题相关度 　　中图分类号:TP391文献标志码:A 　　文章编号:1001-3695(2009)09-3418-03 　　doi:10.3969/j.issn.1001-3695.2009.09.061 　　 　　Research on focused crawler based on Bayes classifier 　　ZOU Yong-bin??a, CHEN Xing-shu??a?k??, WANG Wen-xian??a,b?? 　　(a.Network Trusted Computing Institute, Computer College, b.Institute of Information Security, Sichuan Un