Web信息智能获取系统GHunt.pdfVIP

摘要 因特两(Interact)为人们开辟了一个共同的、全新的天地。人们在这个虚拟的世界里，以一 种全新的方式进行交流．任何人在任何时间、任何地点都可以通过网络发布任何信息，这使得网 络成为最重要的信息来源．但是面对潮水般涌来的电子文献，人们变得无所适从．所以研究Web 信息智能获取技术以帮助用户快速、准确地定位到自己需要的信息，具有广泛的应用背景和实用 价值，已经成为近年来的研究熟点．本文包括以下重点内容： (1)通过分析W曲数据存在的特点，实现Web页面解析和清洗方法：基于URL标记信息 的噪音判别、基于噪音数据冗余特点的判别，基于URL标记文本信息熵的噪音数据判别，并且 基于这三种判别方法实现了Web噪音数据去除算法。实验结果验证了三种噪音去除方法的可行性 和有效性．Web噪音去除算法可以有效解决数据质量问题，从而可以提高后续文本分类，聚类、 查询等文本挖掘算法的性能． (2)本文先按照已有概念空间的层次结构对相关文档进行共现分析。然后。用基于直接聚 类的概念空问生成方式实现文本语义检索机制． 科学研究的最终目的是研究成果能够在实际中得到应用．基于此目的，我们将本文的研究结 果和实验室其他同学的研究成果有机地结合起来，实现了一个完整的网络信息智能获取和处理系 统OHunt．本文给出了系统的功能框架和体系结构，提出了GHunt对信息获取过程和获取知识的 元数据管理模型，并用实验结果验证了系统的性能．GHunt是我们多年来研究成果的结晶，是研 究成果走向产品化的重要环节，同时也为后续研究开发提供了—个很好的平台和检验环境．如果 想详细了解GHtmt系统， 可访问地址—htm：／／www．intsci．—ac．ca／GHuntWeb／。 关键词t信息获取，信息抽取，知识发现，数据挖掘，文本挖掘，Web挖掘，信息采集，噪音去 除，信息检索，文本分类，聚类，概念语义空间． Information Web IntelligentAcquisition System————GHunt Li Jiayou(ComputerApplication) DirectedProfessorShi By Zhongzhi whole for lutemet a newwodd this咖al shaletheinformation pioneers people．In world,people andcommunicatewitheachotherina n钾m慨^】唧锄release totally any抽如md∞ makestheIntenletthemost ofinformatinmBut at柚ytime,which anywhere inlport如t鲥Hce people still themselvesthe documents the find lo毗in seaofelecUonic becauseof difficultiestofindwhat he／she wants．To theu8哪locateuseful and really effectivelyhelp information,咖dyinsdevelop toolsofwebin_fo]rm蚯ofl beenfound and intelligent acquis