基于Multi-Agent的个性化Web信息采集系统.pdfVIP

中国农业科学2007．40(增刊2)：54．57 Sclentaa Sinica Agncultura I t 基于Mu i-Agent的个性化Web信息采集系统 姜丽华1，张宏斌2 (1中国农业科学院农业信息研究所，北京100081；2中国农业科学院农业资源与农业区划研究所，北京100081) 摘要：深入研究了个性化Web信息采集技术，提出和设计了一个基于Multi-Agent技术的个性化Web信患采 集系统。详尽介绍了该系统的体系结构、工作原理以及功能部件，重点分析了个性化采集模型。初步试验结果证 明系统模型有效性和可行性很好。 t 关键词：信息采集；Muli-Agent；个性化信息采集模型；网络Spider BasedPersonalizedWeb Multi—Agent SpiderSystem JIANGLi．hual．ZHANG Hong—bin2 Institute,Chinese 100081； (ZAgricultureInformation AcademyofAgriculturalSciences,BeUing 2Institute Resourcesand ofAgricultural RegionalPlanning，ChineseAcademy Sciences，Beijing100081) ofAgricultural Abstract：13-,_isresearchintroducesthe of web and a web technologypersonalizedspiderdesignspersonalizedspidersystem basedon concentrateson web model the Multi—Agent．Thisstudy personalizedspider includingsystem and resultsatdifferentconditionsthis witha satisfiedeffect． systemcomponents．Theexperiments workingvery principle provesystem words：Information web Key collection；Multi—Agent；Personalizedspider；WebSpider 目前，在传统Web信息与采集技术的基础上web等。系统的优点是灵活、小巧、针对性强。缺点是实 信息采集技术，又出现了许多轻型的各具特色的采集 用性和有效性还有待提高。 技术，如个性化的Web信息采集。基于整个w曲的 美国的乔治亚理工学院的一个实验室系统 信息采集是一种较传统的信息采集技术，主要是指目 Krakatoa 标为从一些种子URL扩充到整个Web的信息采集。 它主要是作为门户搜索引擎和大型的Web服务提供 nando．html的，由服务器端和客户端组成。服务器端 从制定站点获取新闻，转换为纯文本，然后采用 商的数据收集部分。典型的系统有Google、Mercator。 个性化的Web信息采集的目标就是通过用户兴 SMART搜索引擎将文章转换为文档向量，通过TFIDT 趣制导或与用户交互等灵活手段来采集信息。这种个