数据挖掘技术的研究综述.docVIP

数据挖掘技术的研究综述 　　摘要：随着信息技术的发展，积累了越来越多的数据。数据挖掘技术通过从数据库中发现知识，为人类处理这些海量数据提供了有力武器。首先介绍了数据挖掘技术的概念，然后对数据挖掘系统的构成和数据挖掘的流程进行了分析，最后详细分析了数据挖掘的常用方法。 　　关键词：数据挖掘；数据挖掘系统；数据挖掘方法 　　中图分类号：TP311文献标识码：A 文章编号：1009-3044(2008)11-20204-03 　　 　　1 引言 　　 　　数据挖掘（Data Mining）又被称为知识发现（KDD, Knowledge Discovery in Database），就是从大量的、不完全的、有噪声的、模糊的、随机的数据中，发现隐含的、规律性的、人们事先未知的、但又是潜在有用的、并且最终可以理解的信息和知识的过程。 　　为什么我们需要对数据进行挖掘？可以从商业需求和技术的角度来看待这个问题。 　　从商业需求的角度来看主要有三种原因： 　　(1)大量数据被收集和保存在数据库中，例如web数据、电子商务、信用卡的支付记录等等。 　　(2)计算机已经变得越来越廉价，而功能则日益增强。 　　(3)日益剧烈的商业竞争的压力。 　　从技术的角度来看也有三种原因： 　　(1)数据的存储和收集更加高速。 　　(2)传统的技术对于这些大量的原始数据是不能胜任的。 　　(3)数据挖掘能够帮助科学家分类和划分数据。 　　因为上述这些原因，数据挖掘被认为是解决当今时代所面临的数据爆炸而信息贫乏问题的一种有效方法。 　　 　　2 数据挖掘系统的构成 　　 　　数据挖掘系统具有以下主要成分,如图1所示。 　　(1)数据库、数据仓库、万维网或其他信息库：这是一个或一组数据库、数据仓库、电子数据表或其他类型的信息库，可以对这些数据进行数据清理和集成。 　　(2)数据库或数据仓库服务器：根据用户的数据挖掘请求, 数据库或数据仓库服务器负责提取相关数据。 　　(3)知识库：这是领域知识,用于指导搜索或评估结果模式的兴趣度。 　　(4)数据挖掘引擎：这是数据挖掘系统的基本部分,理想情况下由一组功能模块组成,用于执行特征化、关联和相关分析、分类、预测、聚类分析、离群点分析和演变分析等任务。 　　(5)模式评估：通常该成分使用兴趣度度量,并与数据挖掘模块交互,以便将搜索聚焦在有趣的模式上。 　　(6)用户界面：该模块在用户和数据挖掘系统之间通信,允许用户与系统交互。 　　 　　3 数据挖掘的主要流程 　　 　　数据挖掘是指一个完整的过程，该过程从大型数据库中挖掘先前未知的、有效的、实用的信息，并使用这些信息做出决策或丰富知识。 　　数据挖掘主要包括以下步骤，如图2所示： 　　 　　其中各步骤内容为： 　　(1) 确定业务对象 　　清晰定义出业务问题、认清数据挖掘的目的是数据挖掘的重要一步。为了提出一个有意义的问题的陈述，拥有领域内详尽的知识和经验是必不可少的。 　　(2) 数据准备 　　①数据的选择 　　搜索所有与业务相关的内部和外部数据信息，并从中选择出适用于数据挖掘应用的数据。 　　② 数据预处理 　　研究数据质量，为进一步的分析做准备，并确定要进行的挖掘操作的类型。 　　③ 数据的转换 　　将数据转换为一个分析模型。建立一个真正适合于挖掘算法的分析模型是数据挖掘成功的关键。 　　(3)数据挖掘 　　对所得到的经过转换的数据进行挖掘。除了选择合适的挖掘算法外，其余一切工作都能自动完成。 　　(4)结果分析 　　解释并评估结果。其使用的分析方法一般应依数据挖掘操作而定，通常用到可视化技术。 　　(5)知识的同化 　　将分析所得到的知识集成到业务信息系统的组织结构中去。 　　 　　4 数据挖掘的常用分析方法 　　 　　4.1 关联分析 　　关联规则的挖掘通过规则支持度(support)和置信度(confidence)进行兴趣度衡量，这两种衡量反映了所发现规则的有用性和确定性。它的一般形式为：“如果一条记录有确定的属性，那么它以一定的置信度拥有其它属性”。 　　关联分析的概念为： 　　设D是事务数据库，I={i1,i2, …,im}是所有项目的集合，其中ii, j=1,…,m是一个项目。每个事务Ti是一个项集，Ti#8838;I。 　　定义1 设A，B为项集，则称A#8658;B为规则，其中A#8834;I,B#8834;I，且A∩B=Oslash; 　　定义2 设D是事务集，A，B为项集，且有规则A#8658;B。如果D中包含AB事务的比例为s%, 称A#8658;B有支持度s%, 即概率P(AB)。 　　定义3 设D是事务集，A，B为项集，且