多策略的web信息采集系统的研究计算机应用专业论文.docxVIP

中圆科学拄术人学}雌lj学位沦文摘要 中圆科学拄术人学}雌lj学位沦文 摘要 随着互联网的发展，大量动态、广泛分布的Web信息造成了所谓的“信 息过载”现象。为了实现对Web信息的有效获取与利用，许多基于多智能体 (Multi—Agent)的Web信息系统得到研发，提高了采集动态、分如的Web信息 的能力。但是，目前的Web信息Multi—Agent系统都是基于单 策略的，难以 应对复杂的Web信息采集任务。为此，本文结合国家自然科学基金项目——具 有突现智能的多主体模型及应用和国家科技部项目——互联网竞 争情报智能监测系统的研究，对基于多策略协作的Web信息采集系统进行了研 究和实践。 对于多策略的Web信息采集系统的研究，本文对系统所涉及到的基本技 术：Web信息检索技术、Web信息抽取技术以及多Agent系统中多策略协作的 规划问题进行了研究，并在这些工作的基础上，实现了一个基于多策略协作的 Web信息采集系统： 本文首先对Web信息检索的核心技术之一——网页的排序算法进行了研 究。在HITS算法[Kleinber999]的基础卜．，引入了网页内容与奄询主题的相似 度的影响因素，提出了一种基于超链接和网页内容的嘲页排序算法——sHITs (Similarity—HITS)算法。 其次，本文对表格式Web页面的信息抽取进行了研究。针对已有的基于 路径学习的信息抽取方法[于琨03，蔡智02]具有人工维护代价较大的缺点，提 出了一种多策略联合的信息抽取方法——MScIE(Multi．Strmegy Combination web Informmion Extraction)。MSCIE由于采用了不同的学习策略，通过协作共 同完成信息抽取任务，使得浚方法能够以较小的人]二维护代价、较高的准确率 和召回率对大量Web站点的表格式网页进行信息抽取。 对多Agent系统中策略协作学习的协作规划和协作效益问题，本文也进行 了初步研究，从参与协作的Agent的功能合成的角度出发，提出了一种多策略 协作的规划方法。该方法不需要对复杂任务进行分解，不仅能够对给定任务的 协作求解的可行性进行判定，而且能够直接获得所育的协作求解方案。 多策略的Web 多策略的Web f卉息采集系统的{!Jf究 摘坚 最后，则介绍了本文所实现的一个基于多策略协作的Web信息采集系统 ——互联网竞争情报智能监测系统CIS．net，浚系统采用了多种策略的Web信息 检索技术和信息抽取技术，能够对大量Web站点中的商品供求信息、厂商信息 等企业生产相关的竞争情报信息进行检索和抽取。 本文的创新之处如下： (1)．提出了一种基于超链接和网页内容的网页排序算法——SHITS算法： 将HITS算法中的基于0、1值的网页链接矩阵改进为由网页问链接系数构成的 ：矩阵来计算网页的authority和hub值，利用超文本链接所指向的目标网页往往 是超文本链接的一个详细描述来弓l入网页与检索主题的相似度值，用于计算网 页问的链接系数，解决了由于只依赖网页间的链接结构来排序网页造成的“主 题偏离”的问题，提高网页排序结果中排在Topl0至Top50的网页的准确率。 (2)．提出了一种多策略联合信息抽取方法——MSCIE。MSCIE将对表格 式网页的信息抽取分为基于网页结构特征分析的信息抽取和基于模式匹配的信 息抽取，提出了一种基于无监督学习机制的冗余信息剪枝分析的方法和一种基 于有监督学习机制的特征模式发现算法分别用于这两部分的信息抽取，并通过 两种策略联合完成信息抽取工作。应用于互联网竞争情报智能监测系统中，对 大量的表格式Web页面进行信息抽取，具有高准确率、召回率和低人工维护代 价的优点。 (3)．提出了一种多策略协作的规划方法：对学习Agent的能力进行了刻画， 提出了联合Agent的概念，通过对联合Agent的求解，对给定任务协作求解的 可行性进行判定，并直接获得所有的协作求解方案。此外，对多策略协作的效 益的获取也进行了探讨。 (4)．设计了一个基于多策略协作的Web信息采集系统，通过系统中多种 策略的Web信息检索和信息抽取技术的协作，完成了许多复杂的Web信息采集 任务，具有较好的性能。 关键词：w曲信息检索，Web信息抽取，多Agent系统，多策略协作，网页排 序 !望!!兰丝查叁兰竺!．竺些堡茎ABSTRACT !望!!兰丝查叁兰竺!．竺些堡茎 ABSTRACT As the development of the World Wide Web，vast dynamic and distributed widely web infor