关于数据挖掘技术研究与思考.docVIP

关于数据挖掘技术研究与思考 　　摘要：随着信息技术的发展，人类积累的数据量急剧增长。但是，由于数据量的扩大和数据涉及面的加宽，以往的数据分析方法已经不再适用，大量的数据需要分析、处理，并从中抽取有价值的数据和信息，数据挖掘技术由此诞生。本文对数据挖掘技术进行了比较全面的介绍，主要介绍了目前在数据挖掘中常用的算法和工具，为解决这一难题提供了希望。 　　关键词：数据挖掘；算法 　　中图分类号：TP311.13 文献标识码：A 文章编号：1007-9599 （2012） 15-0000-02 　　随着信息技术迅速发展，数据库的规模不断扩大，产生了大量的数据。如何处理这些丰富的数据，使人们得到有益的信息成了目前亟待解决的问题。传统的统计技术不能完成数据的分析。因此，综合各种学科和技术的数据挖掘技术产生。 　　1 数据挖掘定义 　　数据挖掘是应用一系列技术从大型数据库或者数据仓库的数据中提取人们感兴趣的，隐含的、事先未知而潜在有用的，提取的知识表示为概念（Concepts）、规则（Rules）、模式（Patterns）等形式的信息和知识。简言之，数据挖掘（Data Mining）就是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。 　　2 数据挖掘算法 　　数据挖掘算法是根据数据创建数据挖掘模型的一组试探法和计算。 为了创建模型，算法将首先分析您提供的数据，并查找特定类型的模式和趋势。算法根据您的数据创建的挖掘模型可以采用多种形式，这包括： 　　（1）说明数据集中的事例如何相关的一组分类。 　　（2）预测结果并描述不同条件是如何影响该结果的决策树。 　　（3）预测销量的数学模型。 　　算法分类很多，但其中经典十大算法为：C4.5，K-Means，SVM，Apriori，EM，PageRank，AdaBoost，KNN，NB和CART。 　　1）C4.5就是一个决策树算法，它是决策树核心算法ID3的改进算法， 　　2）CART也是一种决策树算法，相对于上着有条件实现一个节点下面有多个子树的多元分类，CART只是分类两个子树，所以说CART算法生成的决策树是结构简洁的二叉树。 　　3）K-Means 算法是一个聚类算法，首先从n个???据对象任意选择k 个对象作为初始聚类中心；而对于所剩下其它对象，则根据它们与这些聚类中心的相似度（距离），分别将它们分配给与其最相似的（聚类中心所代表的）聚类；然后再计算每个所获新聚类的聚类中心（该聚类中所有对象的均值）；不断重复这一过程直到标准测度函数开始收敛为止。 　　4）Apriori算法通用于关联规则。通过频繁项集的一些规律来减少计算复杂度。 　　5）EM算法是通过先假设几个值，然后通过反复迭代，以期望得到最好的拟合。 　　6）PageRank是Google算法的重要内容。PageRank是通过网页间的连接反复来实现。 　　7）AdaBoost是一种迭代算法，它根据每次训练集之中每个样本的分类和总体分类来确定样本。算法的完成时通过数据的改变和分布来实现。 　　8）KNN算法是一个理论上比较成熟的方法，实现起来就是对每个训练样本都计算与其相似度，选择相似度Top-K个训练样本出来，看这K个样本中那个类别的多些，谁多选谁。 　　9）SVM算法是一种监督式学习的方法，是想找一个分类得最”好”的分类线/分类面。 　　10）NB算法是ML中的一个非常基础和简单的算法，NB认为各个特征是独立的，所以一个样本，可以通过对其所有出现特征在给定类别的概率相乘。 　　3 数据挖掘的主要方法 　　目前，研究数据挖掘的方法有很多，主要方法包括传统统计方法，粗集方法，模糊集方法、统计分析、神经网络、覆盖正例排斥反例方法等。 　　（1）传统统计方法：传统的统计学为数据挖掘提供了许多判别和回归分析方法，常用的有贝叶斯推理、回归分析、方差分析等技术。 　　（2）粗集方法：粗集是一种处理含糊性和不确定性的数学工具，它把那些无法确认的个体都归属于边界线区域，而这种边界线区域被定义为上近似集和下近似集之差集。 　　（3）模糊集方法：模糊处理技术是一种用精确的数学语言对模糊性进行描述的方法。模糊集则对集合中子类的边界的不清楚定义进行模型化，它体现的是隶属边界的模糊性。 　　（4）统计分析方法主要指数理统计。它侧重于数据的收集、整理和分析，从而找出现象的规律性或者是数据的特征，做出正确的判断。可进行常用统计、回归分析、相关分析和差异分析。 　　（5）神经网络是由大量的、简单的神经元广泛地互相连接而形成的复杂网络系统。神经元是以生物神经系统的神经细胞为基础的生物模型。典型的神经网络模型主要分三大类：前馈式神经网络模型、反馈式神经网络模型和自组织映射神经网络模型。