基于Multi-Agent的Web文本挖掘系统.pdfVIP

维普资讯 2 福 建 电 脑 2o05年第 11期 基于Multi—Agent的Web文本挖掘系统 沈记全 ·张行文z (1．河南理工大学计算机科学与技术学院河南焦作 454000 2．湖北师范学院计算机科学与技术系湖北黄石435000) 【摘 要】基于Multi—Agent(多智体)技术的web文本挖掘是从海量信息源尤其是Web文本信息源中快速、有效 地获取知识所提 出的一个新型研究领域。本论文给出了基于Multi—Agent技术的Web文本挖掘 系统模型，并利用 Multi—Agent技术实现了Web数据预处理、数据的挖掘、知识的获取、知识的评价与表示等功能。 【关键词】Agent，Multi—Agent，Web文本挖掘，知识发现 一 、 引言 基于Multi—Agent技术 的Web文本挖掘是指应用数据挖 数据库及数据仓库技术的应用积累了企业管理、金融活动、 掘、人工智能、机器学习、模式识别、统计学、计算机语言学、计算 商业运作、工程技术及科学研究等各行业和领域的大量数据及 机网络技术、信息学等技术从大量非结构化、异构的Web文本 丰富的信息资料；Intemet／Intranet技术的延展使得信息数量剧 源集合中发现蕴涵的、未知的、有效的、新颖的、潜在可用的及最 增、信息类型复杂化 。在这些数据和资料 中蕴含着各种不同领域 终可理解 的知识 (包括概念 (Concepts)、模式 (Patterns)、规则 的可满足不同需求的知识，但这些知识通常是传统的分析方法 (Rules)、规律 (Regularities)、约柬 (Constraints)及可视化(Visua1． 和分析工具所无法提供的。而 Web文本挖掘是解决该问题的有 izations)等形式)的非平凡过程 ，在整个挖掘过程 中。每一阶段具 效方法之一 。最近一份 ForrestResearch的统计资料指出：“在 体任务都是由对应的智体 (Agent)独立完成 。Agent之间通过相 Intemet和 Intranet中8O％以上的数据都是以非结构化的形式 互协商合作共同完成总体任务。 存在，如技术报告、技术文档、Email、专家陈述等”。因此。对这些 2．系统的总体结构图 非结构化的信息进行知识发现，难度将会更大，但其意义也将更 基于Multi—Agent技术的Web文本挖掘系统总体结构图如 加重大。IF．4]而对于这些文本信息的分析和处理主要是结合 了 图l所示。它由web数据预处理Agent，web数据挖掘Agent。知 Web文本挖掘 的原理、方法和技术 。近年来 。Web文本挖掘技术 识评价 Agent，信息表示和信息导航 Agent，中断协调Agent，启 应用越来越广泛，它可以同搜索引擎、信息推送、信息过滤等信 发协调Agent和人机交互界面 Agent等组成一个多Agent系统 。 息处理技术相结合 ，有效地提高了Web信息服务的质量 。 由于把多智体技术引入到web文本数据挖掘过程中。因此该系 二、Agent技术 统具有 自主性、主动性、反应性、可动性、协同性和智能性。 Agent是一个运行于动态环境 的、接受另一个实体的委托 井为之服务的、具有较高 自治能力的实体，是一种模拟人类智能 荧器[圈 行为并提供相应服务 的计算机程序 ，它具有 自主性(autonomy)、 一 … 一 _甩：………!1．…………一…… 主动性(ac“vity)、反应性(reactivity)、可动性(mobility)、智能性 (In． telligence)等。 ·自~ (Autonomy) Agent具有根据其意图、愿望、信念或习性．在没有外加控 制的情况下，自行决策，采取 自主行为的性能，称为 “自主性”。 ·主动性(Activity) Agent具有根据 内部状态和外部环境，产生面向预定 目标 日