遗传算法在数据挖掘技术中的应用术.pdf

遗传算法在数据挖掘技术中的应用 洪祥波，姚远征 辽宁工程技术大学系统工程研究所，辽宁 葫芦岛 (125105) E-mail ：hxb2408@163.com 摘 要：本文首先介绍了数据挖掘和遗传算法的相关知识以及他们的相互结合，主要介绍基 于遗传算法的一种自动聚类方法，应用遗传算法来解决聚类分析中动态确定聚类数目及其全 局优化问题，最后给出一个简单的实例来说明该方法的有效性。 关键词：数据挖掘；遗传算法；聚类分析 中图分类号：TP312 1. 数据挖掘 1.1 数据挖掘基本概念 随着计算机技术的发展，各行各业都开始采用计算机及相应的信息技术进行管理和运 营，这使得企业生成、收集、存贮和处理数据的能力大大提高，数据量与日俱增。企业数据 实际上是企业的经验积累，当其积累到一定程度时，必然会反映出规律性的东西；对企业来 讲，堆积如山的数据无异是一个巨大的宝库。在这样的背景下，人们迫切需要新一代的计算 技术和工具来开采数据库中蕴藏的宝藏，使其成为有用的知识，指导企业的技术决策和经营 决策，使企业在竞争中立于不败之地。另一方面，近十余年来，计算机和信息技术也有了长 足的进展，产生了许多新概念和新技术，如更高性能的计算机和操作系统、因特网(internet)、 数据仓库(data warehouse)、神经网络等等。在市场需求和技术基础这两个因素都具备的环 境下，数据挖掘技术或称 KDD(Knowledge Discovery in Databases ；数据库知识发现)的概念 和技术就应运而生了。 数据挖掘(Data Mining)旨在从大量的、不完全的、有噪声的、模糊的、随机的数据中, 提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识。还有很多和这一术 语相近似的术语,如从数据库中发现知识(KDD)、数据分析、数据融合(Data Fusion)以及决 策支持等[1] 。 1.2 数据挖掘的基本任务 数据挖掘的任务主要是关联分析、聚类分析、分类、预测、时序模式和偏差分析等。 1）关联分析(association analysis) 关联规则挖掘由 Rakesh Apwal 等人首先提出。两个或两个以上变量的取值之间存在的 规律性称为关联。数据关联是数据库中存在的一类重要的、可被发现的知识。关联分为简单 关联、时序关联和因果关联。关联分析的目的是找出数据库中隐藏的关联网。一般用支持度 和可信度两个阀值来度量关联规则的相关性，还不断引入兴趣度、相关性等参数，使得所挖 掘的规则更符合需求。 2 ）聚类分析(clustering) 聚类是把数据按照相似性归纳成若干类别，同一类中的数据彼此相似，不同类中的数据 相异。聚类分析可以建立宏观的概念，发现数据的分布模式，以及可能的数据属性之间的相 互关系。 - 1 - 3 ）分类(classification) 分类就是找出一个类别的概念描述，它代表了这类数据的整体信息，即该类的内涵描述， 并用这种描述来构造模型，一般用规则或决策树模式表示。分类是利用训练数据集通过一定 的算法而求得分类规则。分类可被用于规则描述和预测。 4 ）预测(predication) 预测是利用历史数据找出变化规律，建立模型，并由此模型对未来数据的种类及特征进 行预测。预测关心的是精度和不确定性，通常用预测方差来度量。 5 ）时序模式(time-series pattern) 时序模式是指通过时间序列搜索出的重复发生概率较高的模式。与回归一样，它也是用 己知的数据预测未来的值，但这些数据的区别是变量所处时间的不同。 6 ）偏差分析(deviation) 在偏差中包括很多有用的知识，数据库中的数据存在很多异常情况，发现数据库中数据 存在的异常情况是非常重要的。偏差检验的基本方法就是寻找观察结果与参照之间的差别。 1.3 数据挖掘的基本技术