一种基于多Agent的Web数据挖掘方法.docVIP

一种基于多Agent的Web数据挖掘方法 　　摘 要:基于多Agent的数据挖掘技术,不仅能够针对不同的Web数据综合采用不同的挖掘算法,而且可以在各站点进行并行挖掘,避免Web通信量过载。在简述Agent技术和Web数据挖掘技术的基础上,结合多Agent和Web数据挖掘,设计出一种新型数据挖掘模型,且进一步阐述了该模型,并做了一些分析测试。结果证明,该方法能有效提高Web数据挖掘的速度、准确率和覆盖率,提高了数据利用率。 　　关键词:Web数据挖掘; 多Agent; Web数据; 网络通信量; 并行挖掘 　　中图分类号:TP311文献标识码:A 　　文章编号:1004-373X(2010)08-0083-04 　　 　　New Method of Web Data Mining Based on Multi-Agent 　　XIONG Hai-liang, BAI Zhen-xing 　　(Air Force Engineering Institute, Air Force Engineering University, Xi’an710038, China) 　　Abstract:The data mining technology based on multi-Agent can perform different mining algorithms to deal with different Web data, and can realize data parallel mining in each platform, to avoid the over loadin of communication capacity. On the basis of summarization of the technologies of Agent and Web data mining, one new model of Web data mining is designed by combining multi-agent and web data mining. The model is elaborated, and some analysis and testing are done. The result indicates that the method can efficiently improve the speed, accuracy and coverage of the Web data mining and raise the data utilization. 　　Keywords:Web data mining; multi-Agent; web data; Web communication capacity;parallel mining 　　 　　0 引 言 　　Web数据挖掘具有很重要的意义,即能从大量的信息中发现用户感兴趣的信息,将Web上的丰富信息转变成有用的知识。Web数据挖掘分为三类:Web内容挖掘、Web访问信息挖掘和Web结构挖掘等。Agent是人工智能领域发展起来的新型计算模型,具有功能的连续性和自主性,即Agent能够连续不断地感知外界发生以及自身状态的变化,并自主产生相应的动作。由于Agent的上述特点,Agent已广泛用于分布计算环境,用于协同计算以完成某项任务。单一挖掘技术的效果往往不令人满意,以多Agent系统为平台,通过技术融合,形成一种并行、自主、协作的挖掘方法,可以收到更好的效果。本文基于Agent和多Agent的上述特点,设计出一种基于多Agent的Web数据挖掘新模型,能够更好、更有效地进行智能Wen数据挖掘,而且可以直接在网络上进行挖掘。由于它具有更好的多Agent系统结构,可使集中和分散的方式相统一,而且采用了移动Agent,故提高了数据挖掘的灵活性,避免了Web通信拥塞,提高了Web数据挖掘[1]速度、覆盖率和准确率,能发现用一般方法所发现不了的知识,使Web数据得到有效利用。 　　1 Web数据挖掘 　　1.1 数据挖掘 　　数据挖掘(Data Mining)是一个从大量数据中获取有效、新颖、潜在有用、最终可理解的模式的非平凡过程。数据挖掘的广义观点:数据挖掘就是从存放在数据库、数据仓库或其他信息库中大量的数据中“挖掘”有趣知识的过程。数据挖掘,又称为数据库中知识发现,目前数据挖掘的研究主要分为Web数据挖掘和空间数据挖掘,这里主要研究的是Web数据挖掘问题。 　　1.2 Web数据挖掘 　　Web数据挖掘[2]就是从大量的、不完全的、有噪声的、模糊的、随机的Web数据中,提取隐含在其中的、人们事先不知道的,但又是