数据挖掘技术及算法综述.docVIP

数据挖掘技术及算法综述 　　摘要:数据挖掘是目前非常热门的一门交叉学科,涉及到很多学科的研究领域。文中对数据挖掘的概念、实施步骤及各种算法进行了比较详细的归纳,并且对数据挖掘技术将来的研究方向也进行了预测。 　　关键词:数据挖掘;聚类算法;关联规则;决策树;遗传算法 　　中图分类号:TP301文献标识码:A文章编号:1009-3044(2009)13-3331-02 　　 　　1 引言 　　数据挖掘是一个多学科的交叉领域,这些学科包括数据库技术、机器学习、统计学、模式识别、信息检索、神经网络、基于知识的系统、人工智能、高性能计算和数据可视化等[1]。目前,对于数据挖掘方面的研究已经取得了很大的进展,开发出了许多新的数据挖掘算法、系统和应用。本文将先对数据挖掘的概念及实施步骤进行说明,然后将分类归纳数据挖掘中的各种常见算法,最后对数据挖掘目前的研究方向进行预测。 　　 　　2 数据挖掘的概念及流程 　　2.1 数据挖掘的概念 　　简单地说,数据挖掘就是从大量的数据中“挖掘”知识,即从大量的、不完全的、有噪声的、模糊的、随机的数据中,提取隐含在其中的、人们事先不知道、但又是潜在有用的信息和知识的过程。它是一种决策支持过程,可以从企业数据库的大量数据中,挖掘出潜在的模式,预测客户的行为,帮助企业的决策者做出正确的判断,从而减少投资的风险,获得更大的利润。 　　2.2 数据挖掘的流程 　　一般来讲,数据挖掘的整个过程由五个步骤组成: 　　1) 数据挖掘的最后结果是不可预测的,但是要探索的问题应该是有预见的,为了数据挖掘而进行数据挖掘,是不可取的。因此,清晰地定义出业务问题,认清数据挖掘的目的是数据挖掘的第一步,也是很重要的一步。 　　2) 数据准备[2],数据准备又可以分成数据选择,数据预处理,数据转化三个步骤。数据选择,是从大量与业务对象有关的数据中选择出适合进行数据挖掘的数据;数据预处理,包括进行数据清洗,数据推测,数据转换等。数据清洗,指的是清除掉一些明显的噪声数据,提高数据的质量;数据推测,是因为在前面两步中,也许会出现数据不全的情形,所以进行适当的推算,补齐所需的数据;数据转换,是将数据转换成一个分析模型,这个分析模型是针对数据挖掘算法建立的,建立一个真正适合挖掘算法的分析模型是数据挖掘成功的关键;数据转化,则是在做完前面的步骤以后,适当的缩减即将进行分析的数据库规模,以上这些工作会直接影响到数据挖掘时的效率和准确性,同样很重要。 　　3) 数据挖掘,这是整个数据挖掘过程中最重要的一步,即使用适当的数据挖掘算法对刚才处理出的数据进行分析,进而得到可能的模式模型。根据不同数据的特点以及用户不同的需求,对同样的任务,可以选用不同的算法,目前常见的算法包括聚类算法、关联分析、分类算法、遗传算法等。 　　4) 结果评价,通过上述步骤得到的模式模型,并不一定是真实有效的,甚至可能会是和实际情况完全相反的,所以还需要对得到的结果进行评价。这一步使用的方法包括用数据代入进行验证,也可以根据常规的经验进行一些判断,一般由数据挖掘具体操作而定。如果没有得到合适的模式模型,就需要重新选择数据,甚至需要选用其他的数据挖掘算法,因此,数据挖掘的过程往往都是一个不断反复的过程。 　　5) 知识同化,完成上述步骤后,如果得到了可以接受的模式模型,就需要进一步把得出的模型形象化,运用到所需的信息系统中去。 　　 　　3 数据挖掘的常见算法 　　数据挖掘常用的分析方法包括聚类算法(Cluster Algorithm)、关联规则(Association Rules)、决策树算法(Decision Tree Algorithm)、遗传算法(Genetic Algorithm)等。 　　3.1 聚类算法 　　聚类是一种常见的数据分析工具,其目的是把大量数据点的集合分成若干类,使得每个类中的数据之间最大程度的相似,而不同类中的数据最大程度的不同。常见的聚类算法主要包括层次聚类算法(Hierarchical Clustering Method)、分割聚类算法 (Partitioning Clustering Method)、基于密度的方法(Density-Based Methods)、基于网格的方法(Grid-Based Methods)等[3]。 　　1) 层次聚类算法,是通过将给定的数据集组织成若干组数据,并形成一个相应的树状图,进行层次式的分解,直到某种条件满足为止,具体又可分为“自底向上”和“自顶向下”两种算法[4]。这两种算法的思路正好相反,前者是将每个对象都作为一个原子聚类,再进行聚合,最后得到相应的结果,而后者是将所有对象看成一个聚类,再进行分解。CURE算法、CHAMELEON算法、BIRCH算法等是比较