数据挖掘技术及其应用现实状况.pdfVIP

数据挖掘技术及其应用现状 王斌会 (暨南大学经济学院，广州510632) 摘要：本文对数据挖掘技术进行了回顾，介绍了目前在数据挖掘中常用的方法和工具，列举了 它的一些应用，指出了数据挖掘中存在的一些问题。 关键词：数据挖掘；数据仓库；统计技术；SAS／EM；SPSS／Clementine 中图分类号：N37 文献标识码：A 文章编号：1002—6487(2006)05-0122-03 需要注意的是：数据挖掘的各项功能并不是独立存在 1 数据挖掘的含义、功能和内容 的，在数据挖掘中互相联系，发挥着作用。 从统计角度看，统计数据挖掘的主要内容包括：①时间 数据挖掘的历史虽然较短，但从20世纪90年代以来， 序列数据库的挖掘；②截面数据库的挖掘；③统计信息数据 它的发展速度很快，加之它是多学科综合的产物，目前还没 库的挖掘；④统计普查数据库的挖掘；⑤抽样调查数据库的 有一个完整的定义，提出了多种数据挖掘的定义，例如： 挖掘；⑥web统计资源数据库的挖掘。当然，还有各种企业和 公司的经营数据资料的挖掘。 SAS研究所(1997)：“在大量相关数据基础之上进行数 据探索和建立相关模型的先进方法”。 Bhavani(1999)：“使用模式识别技术、统计和数学技术，2数据挖掘的方法及-r具 在大量的数据中发现有意义的新关系、模式和趋势的过程”。 Handetal(2000)：“数据挖掘就是在大型数据库中寻找 数据挖掘通过对数据的总结、分类、聚类、关联等分析， 有意义、有价值信息的过程”。 实现对数据内在结构特征的理解和对未知数据的预测。作为 我们认为：数据挖掘就是从海量的数据中挖掘出可能有 一门处理数据的新兴技术，数据挖掘有许多新特征。首先，数 潜在价值的信息的技术，用以支持决策，可以为企业带来利 据挖掘面对的是海量的数据，这也是数据挖掘产生的原因。 益，或者为科学研究寻找突破口。 其次，数据可能是不完全的、有噪声的、随机的，有复杂的数 现今资料流通量之巨大已到了令人咂舌地步，就实际限 据结构，维数大。最后，数据挖掘是许多学科的交叉，运用了 制而言，便遇到了诸如巨量的记录，高维的资料，这些都增加 统计学，计算机，数学等学科的技术。以下是常见和应用最广 了传统分析技术上的困难，搜集到的资料仅有5％至10％用 泛的算法和模型： 来分析，以及资料搜集过程中并不探讨特性等问题，这就让 (1)传统统计方法：①抽样技术：我们面对的是海量的 我们不得不利用DataMining技术。 数据，对所有的数据进行分析是不可能的也是没有必要的， 数据挖掘综合了各个学科技术，有很多的功能，当前的 这就要求在理论的指导下进行合理的抽样。②多元统计分 主要功能如下： 析：由于数据结构复杂、维数高，必不可少的要用到诸如因子 (1)分类：按照分析对象的属性、特征，建立不同的组类 分析，聚类分析等方法。③统计预测方法，如回归分析，时间 来描述事物。 序列分析等。 (2)聚类：识别出分析对内在的规则，按照这些规则把对 (2)可视化技术：用图表等方式把数据特征直观地表述 象分成若干类。 出来，如直方图、散点图、三维曲面图等都需要可视化方法。 (3)关联规则和序列模式的发现：关联是某种事物发生 可视化技术面对的一个难题是高维数据的可视化。 时其他事物会发生的这样一种联系。