基于在线增量学习的自适应聚焦爬虫研究.docVIP

基于在线增量学习的自适应聚焦爬虫研究.txt人生在世 ，难敌宿命，沉沦其中。我不爱风尘，似被前缘误！！我只为我最爱的人流泪“我会学着放弃你，是因为我太爱你”赢了你,我可以放弃整个世界 本文由fatcat132006贡献 pdf文档可能在WAP端浏览体验不佳。建议您优先选择TXT，或下载源文件到本机查看。 第 26 卷第 5 期 　　　 2009 年 5 月 　　 计算机应用与软件 Computer App lications and Softw are 基于在线增量学习的自适应聚焦爬虫研究 朱　 婷 1 2 1, 2 滕桂法 　 　 　 陆 浩 张长利 　 曾大军 1 2 2 2 (河北农业大学信息科学与技术学院 　 河北 保定 071001) (中科院自动化所复杂系统与智能科学实验室 　 北京 100190) 摘 　 　　 要 在原始分类器聚焦爬虫的基础上设计并实现在线增量学习的自适应聚焦爬虫 。该聚焦爬虫包括一个基础网页分类器和 一个在线增量学习自适应链接分类器 。基础页面分类器根据领域知识对抓取到的页面内容主题相关性进行分类 。在线增量学习自 适应链接分类器能即时根据爬虫爬得网页和网页链接信息作出分类模型调整以更合理方式计算链接的主题相关度 。系统中链接排 序模块采用 Top icalRank主题相关度计算方法分析链接优先抓取顺序 。把基于增量学习的自适应聚焦爬虫应用到农业领域 ,实验结 果和分析证明在线增量学习的自适应聚焦爬虫在农业领域爬行性能比仅基于网页相关性和链接重要度的原始分类器聚焦爬虫具有 更好的性能 。 关键词 　　 在线增量学习 　Top icalRank 　 聚焦爬虫 　 农业领域 随着 Internet的快速发展 ,网络资源成为巨大的知识库 , 搜 索引擎已经成为网络用户获取各种信息的一种重要手段 。目前 如 Google、 Baidu等大多数是面向所有信息的搜索引擎 , 可以称 之为通用搜索引擎 。随着信息多元化的增长 ,适用于所有用户 的通用搜索引擎已经不能满足特定用户更深入的查询需求 , 他 们对信息的需求往往是针对特定领域和面向特定主题的 , 此时 通用搜索引擎的搜索效果难以满足有特定需求的用户 。针对这 种情况 ,一个分类精确 、 数据全面 、 更新及时的面向主题的搜索 引擎 —— — 垂直搜索引擎应运而生 。 聚焦爬虫是一个自动提取网页的程序 ,它为垂直搜索引擎 从万维网上下载网页 , 是垂直搜索引擎的重要组成部分 。它根 据抓取目标有选择地访问网页和相关的链接 , 并获取所需要的 Abstract　　An adap tive focused craw ler of online 2incremental learning based on p rim itive classification focused craw ler is designed and re2 perfor mance than the p rim itive classifier focused crawler based only on web pages’correlation and link importance degree. Keywords　　Online 2Incremental learning　Top icalRank　Focused craw ler　Agriculture field alized in this article. The craw ler?architecture includes a basic webpage classifier and an online 2incremental learning adap tive link classifier s . incremental learning adap tive link classifier is able to adjust the classifying model instantly according to the web pages fetched by the craw ler and the link information of the web pages, and to calculate correlation degree of the linked top ics more reasonably The L inks SortingModule in . duces the app lication of incremental