数据挖掘常用技术.pdfVIP

第二章 数据挖掘常用技术 7 数据挖掘是涉及了机器学习，统计学，人工智能，数据仓库等多门学科知识的 新兴交叉学科。也正是因为这样使得数据挖掘的研究渗透在多个学科，从而使得 数据挖掘的方法在不同的理论背景下出现了多种形式，多种研究途径。数据挖掘 技术的发展是数据驱动的，针对不同的数据产生了很多数据挖掘的方法，同时也 要知道大多数的算法都不是专门为解决某个特定问题而设计的，不同算法彼此之 间也不相互排斥，在进行实际应该的过程中应根据数据自身的特点与业务的具体 问题选择合适的数据挖掘算法，进而得到较好的挖掘效果，在不能确定挖掘算法 之前也可以采取抽样数据然后用各种算法尝试的方法来选择相对较好的算法，算 法的好坏不是以其使用范围和效果而言，而是针对不同的问题有不同的评判标准。 下面对常见的并且应用性很好的数据挖掘技术进行简要介绍。 （1）决策树 决策树是一种方法简单而又应用广泛的分类技术。它是一种分类函数逼近手段， 是从机器学习的方面改进而来的。决策树算法的好处在于算法易于理解，但是其 缺点在于每个分支的判定条件过于严格毫不含糊，这样在实际应用中可能会带来 一定的麻烦。近年来随着研究的深入决策算法有了很多进步产生很高效的算法。 （2 ）神经网络方法 神经网络来源于神经生物学和生理学中有关神经细胞计算本质的研究工作。有 很多种不同的神经网络，可以给不同的学习目的提供应用。前馈神经网络是一种 常见的用于分类的算法。 神经网络有很好的抗噪音的能力，并且针对未知数据也一样有很好的预测分类 能力，有很高的分类精准度。不过，训练过程一般比较长是神经网络的一大缺点。 另外，神经网络算法所得到的结果可解释性很差，差不多相当于黑盒。 （3 ）统计分析方法 经典统计学中的重点内容包括回归分析，假设检验，方差分析等。而相关的统 计学的中的很多知识也都会在数据挖掘中被用到。在使用数据挖掘技术来解决相 关问题之前有时也会用统计方法尝试着解决问题，甚至在数据预处理过程中也会 用到统计方法。 （4 ）遗传算法 遗传算法（ genetic algorithm ，又称 GA ），该算法试图通过计算机模仿自然选择 的过程，并将他们运用到解决商业和研究问题。遗传算法是在遗传和生物进化的 思想之下而开展的，所以他有许多传统算法所以不具备的优点。 （5 ）关联挖掘电子科技大学硕士学位论文 6 概括起来数据挖掘的一般步骤可以用如下图示来表达 图 2-1 数据挖掘基本步骤图 从数据挖掘所使用的技术的方面来理解的话，数据挖掘的过程可以有如下几步： 初始数据的获得及分析，数据抽样和数据清理，数据挖掘技术，样本集，数据的 转换，数据仓库技术，知识。本步骤的要点是对数据的预处理的优化，省掉了实 际商业应用时所需要的很多步骤。图 2-2 展示了如何从初始数据出发，从中得到有 用的模式，进而得到有用的知识。用于数据挖掘的工具越优秀，从一个步骤转到 另一个步骤就越简单、越自动化。 图 2-2 数据挖掘的技术过程图 在具体应用的过程之中，需要经常反复执行某一些数据挖掘的步骤。并且，以 上四步的分界线经常区分不明显，例如，数据转换及预处理同时又可以当作一种 线索关系的提取。因而指明数据挖掘常做的工作就是如此的划分目的 [2] 。 2.1.3 数据挖掘常用方法 原始数据 样本集 数据仓库 知识 抽样、清理 转换 挖掘 原始数据 业务理解 数据理解 数据预处理 建模 评估 部署第二章 数据挖掘常用技术 5 绍一下各个步骤 [4] 。 （1）业务理解 在进行数据挖掘之前要了解所挖掘的行业背景，了解行业知识，进而知道数据 挖掘的目标以及衡量挖掘成功的标准，同时也要了解数据挖掘在相关行业下的资 源以及风险。在了解了上述相关行业知识之后，把挖掘的任务转换成数据挖掘的 问题，同时定下挖掘目标和挖掘成功的标准。最后得到初期的项目计划。 （2 ）数据理解 在完成了业务目标以后，接着的任务就应该是收集数据。收集数据之后要对数 据开展研究分析，以了解数据的结构以及数据的质量。若是此步骤数据的获得有 困难或者得不到满意的数据，就应该重新回到业务理解步骤，分析是否业务理解 出了问题。 （3 ）数据预处理 此步骤的目的是得到最终使用的数据集。数据预处理的过程一般开销比较大， 无论从工作量还是时间方面来讲。这一过程主要包括噪声数据的清洗，数据的相 关选择，以及数据属性的合成和数据集的合并，还有数据的规范化等等。在实际 应该过程之中还包括很多数据预处理有