数据挖掘研究的综述.pdfVIP

_______________________________________________________________________________ 数据挖掘研究的综述 李湘军 中国农业大学信息与电气工程学院 100094 xiang602@163.com 摘要：数据挖掘是一种从大量数据中提取有用信息的技术，是当前计算机科学研究的活跃领 域。本文介绍了数据挖掘的定义，功能以及数据挖掘的过程，然后论述了数据挖掘的常用技 术和工具，最后结合当前新的研究成果分析了数据挖掘领域的发展趋势。 关键词：数据挖掘 知识发现 关联规则 1.引言 随着信息技术的快速发展，人们要面对越来越庞大的数据。加州伯克利分校研究人员研 究表明，全球信息生产量在1999 年到2002 年3 年间以平均每年30%左右的速度递增，2002 年中达到五万亿兆字节，这足以填满50 万座美国国会图书馆[1]。“信息爆炸”时代的到来， 使得要从数量庞大、纷繁复杂的数据中寻找有价值信息的使用者深感头疼。人们的目光转向 了数据挖掘（Data Mining ）技术。 一般说来，数据挖掘（DM）是一个利用各种分析方法和分析工具在大规模海量数据中建 立模型和发现数据间关系的过程，这些模型和关系可以用来做出决策和预测。例如：超市分 析交易数据，可以安排货架上货物摆布，以提高销售；信用卡公司分析信用卡历史数据，判 断哪些人有风险，哪些没有；广告公司通过分析人们购买模式,估计他们的收入和孩子数目, 作为潜在的市场信息；税务局则可分析不同团体交所得税的记录，发现异常模型和趋势。数 据挖掘还有其他叫法如数据挖掘和知识发现(DMKD)、数据库中知识发现（KDD）、数据融合 (Data Fusion)等等，但在产业界和研究界更加流行数据挖掘和数据库中知识发现的叫法。 数据挖掘涉及多种学科领域，包括数据库、人工智能、数理统计、神经网络、可视化、 并行计算等。在电子数据处理的初期,人们就曾试图通过机器学习等领域的方法来实现自动 决策支持，但收效不大。后来随着神经网络技术的形成和发展,人们的注意力又转向知识工 程。80 年代人们又在新的神经网络理论的指导下，重新回到机器学习的方法上，并将其成 果应用于处理大型商业数据库。KDD （数据库知识发现），即数据挖掘就于20 世纪80 年代后 期出现了[2]。数据挖掘技术的发展紧随着数据库技术的发展。60 年代，数据库技术还处于 数据收集和静态数据访问阶段，以后逐渐演化到复杂的数据库系统。70 年代以后，又从层 次和网络数据库发展到关系数据库。80 年代中期以来，数据仓库（Ware House）由于其面 向主题、集成性、时变性和非易失性的特点，已成为数据分析和联机分析处理的重要平台[3]， 这为数据挖掘的蓬勃发展奠定了基础。 数据挖掘从 1989 年第十一届国际联合人工智能学术会议上正式提出以来，学术界就没 _______________________________________________________________________________中国科技论文在线 有中断过对它的研究。国际KDD 组委会于1995 年把专题讨论会更名为国际会议，深入地探 讨发现方法和系统应用，1997 年第3 届KDD 国际学术大会上还进行了数据挖掘工具的竞赛 评奖活动,2003 年 ACM-SIGKDD 在华盛顿组织了第 9 届知识发现与数据挖掘国际会议 （KDD`03）。数据挖掘在学术界和工业界的影响越来越大，本世纪将会继续成为计算机科学 界的热点。 2.数据挖掘的功能 数据挖掘通过预测未来趋势及行为，做出预测性的、基于知识的决策。数据挖掘的目标 是从数据库中发现隐含的、有意义的知识，按其功能可分为以下几类: 1．关联分析 关联分析能寻找到数据库中大量数据的相关联系,常用的两种技术为关联