数据挖掘领域剖析.docVIP

数据挖掘领域剖析 　　摘要: 主要从数据挖掘技术的产生、经典的成功案例、应用的领域及现状、存在的问题以及发展的前景,对数据挖掘领域做以概述,以使读者了解数据挖掘领域。 　　关键词: 数据挖掘;KDD;数据库 　　中图分类号:TP-9文献标识码:A文章编号:1671-7597(2010)0310138-01 　　 　　0 引言 　　数据挖掘作为当前计算机科学界的一大新兴技术,自20世纪80年代末诞生以来,短短的十几年时间里,发展迅猛,当人们还在质疑挖掘的效率和能力时,它已被广泛的应用到各个领域,并给一些领域,特别商业领域带来了巨大的经济效益,从而也引起了学术界的关注。本文就数据挖掘的产生、应用、发展、支撑技术等方面对该领域进行了探索。 　　1 数据挖掘的产生 　　要探究一个事物的生命力,首先就要探索它的起源。一切新事物的产生都是由需求驱动的。希望能让计算机自动智能地分析海量数据以获取信息,是推动数据挖掘产生并发展的强大动力。自20世纪60年代以来,数据库技术迅速发展,从数据搜集、数据访问到数据仓库经历了三个阶段,结构化查询语言、联机事务处理、多维数据库等技术使人们对大量甚至海量数据的存储、管理和查询带来了极大方便。 　　与此同时,出现了一个新的问题:“数据丰富,但信息(知识)贫乏”。面对着与日俱增的海量数据,如何从中及时发现有用的知识,提高信息利用率?传统的数据分析工具对海量数据的处理力不从心。此外,20世纪下半叶发展起来的专家系统,也遇到“知识获取”这一瓶颈问题。在此背景下,对强有力的数据分析工具的需求推动了数据挖掘技术的产生。 　　1989年8月第11届国际联合人工智能学术会议上,“数据库中的知识发现”(即KDD,Knowledge Discovery in Database)一词被首次提出。在随后的第一届KDD国际会议中,因为“数据库中的知识发现”显得过于冗长,就普遍采用了更加通俗简单的术语――“数据挖掘”。数据挖掘被解释为:从大量的、不完全的、有噪声的、模糊的、随机的数据中挖掘出隐含在其中的、事先不为人知的、潜在的、有用信息和知识的技术。 　　2 经典案例 　　一些成功运用数据挖掘的案例,显示了其的强大生命力: 　　数据挖掘中经典的成功案例――“啤酒与尿布”的故事。美国沃尔玛连锁店超市,将尿布和啤酒摆在一起出售,结果使尿布和啤酒的销量双双增加了。这就是因为利用数据挖掘技术对大量的历史数据进行分析的结果。后经调查发现,美国的年轻丈夫经常在下班后为小孩买尿布,而在买尿布后又随手买了他们喜欢的啤酒。还有通过打击治理毒品,减少抢劫案的发生概率,取得明显效果;在电邮中加新闻,既避免了客户流失,又为消费者和卖家带来价值等等,一些看似不相关,但又实在发生作用的决策,其实都是成功运用数据挖掘的结果。 　　3 数据挖掘的应用 　　“Business First,technique second”是数据挖掘的特点。数据挖掘技术从一开始就是面向应用的。从80年代末的初露头角到90年代末的广泛应用,以数据挖掘为核心的商业智能(BI)已经成为IT及其它行业中的一个新宠。 　　当前数据挖掘应用主要集中在电信(客户分析),零售(销售预测),农业(行业数据预测),网络日志(网页定制),银行(客户欺诈),电力(客户呼叫),生物(基因),天体(星体分类),化工,医药等方面。当前它能解决的问题典型在于:数据库营销、客户群体划分、背景分析、等市场分析行为,以及客户流失性分析、客户信用记分、欺诈发现等等,在许多领域得到了成功的应用。访问淘宝网浏览某一商品时,当选中一个商品后,会出现相关的推荐商品,这背后就是数据挖掘技术在发挥作用。 　　4 存在的问题 　　尽管数据挖掘有如此多的优点和应用,但数据挖掘也面临着许多的问题。 　　首先,数据挖掘对计算机的性能和理论算法要求高。海量的数据存放在大型的数据仓库中,对其进行未经引导的搜索将导致计算机长时间的工作,对计算机的性能要求高。另外,面对如此大的数据,现有的统计方法等都遇到了问题,如何对数据进行抽样,怎么抽样,抽取多大的样本,又怎样评价抽样的效果,这些都是尚待解决的难题。 　　其次,数据挖掘的结果是不确定的,要和专业知识相结合才能对其做出判断。数据挖掘的目的,不是要求发现放之四海皆准的真理,不是去发现崭新的自然科学定理和纯数学公式,更不是机器定理证明。数据挖掘得到的知识是相对的,有特定前提和约束条件,是面向特定领域的。由此也要求数据挖掘的结果必须是易于理解的,最好能用自然语言来表达。 　　最后,数据挖掘涉及到数据也就碰到了数据的私有性和安全性。数据挖掘带来最敏感的要属个人隐私问题。当消费者感觉到他们的个人信息被非授权使用、滥用甚至出卖时,他们会感到他们的个人隐私受到了严重侵害