基于在線增量学习的自适应聚焦爬虫研究.docVIP

本文由fatcat132006贡献 pdf文档可能在WAP端浏览体验不佳。建议您优先选择TXT，或下载源文件到本机查看。 第 26 卷第 5 期 　　　 2009 年 5 月 　　 计算机应用与软件 Computer App lications and Softw are 基于在线增量学习的自适应聚焦爬虫研究 朱　 婷 1 2 1, 2 滕桂法 　 　 　 陆 浩 张长利 　 曾大军 1 2 2 2 (河北农业大学信息科学与技术学院 　 河北 保定 071001) (中科院自动化所复杂系统与智能科学实验室 　 北京 100190) 摘 　 　　 要 在原始分类器聚焦爬虫的基础上设计并实现在线增量学习的自适应聚焦爬虫 。该聚焦爬虫包括一个基础网页分类器和 一个在线增量学习自适应链接分类器 。基础页面分类器根据领域知识对抓取到的页面内容主题相关性进行分类 。在线增量学习自 适应链接分类器能即时根据爬虫爬得网页和网页链接信息作出分类模型调整以更合理方式计算链接的主题相关度 。系统中链接排 序模块采用 Top icalRank主题相关度计算方法分析链接优先抓取顺序 。把基于增量学习的自适应聚焦爬虫应用到农业领域 ,实验结 果和分析证明在线增量学习的自适应聚