tang changjie, the issues on the data mining and kdd - 四川大学.docVIP

关于数据采掘和知识发现的若干思考 唐常杰、杨璐、左吉力 四川联合大学计算机系 摘要 数据采掘(DM)和基于数据库的知识发现(KDD)是目前数据库研究界和产业界关注的热点。本文从数据库工程的观点出发，根据作者在KDD研究实践中的体会，对DM和KDD的背景、主要思想、研究方法及对未来库应用的影响进行了反思和分析。 关键词 数据采掘，基于数据库的知识发现，分类，聚集，关联。  1997-1998年度国际数据库文献中两个最引人注目的高频索引词是DM(Data Mining数据采掘)和KDD(Knowledge Discovery in Database,数据库中的知识发现)。DM和KDD为何成为热点，它们的动机是什么？它有什么背景？有何主要内容？对未来的数据库应用有何影响？ 本文从数据库工程的观点对上述问题作一简要的述评，对KDD和DM的基本思想和主要成果作一简要的分析，以期引起国内同行的关切和讨论。 1 背景 ─ 数据海洋不支持决策 没有数据不能决策，但面对含有冗余和矛盾的海量数据，也难于决策。目前全世界每天产生万兆级字节的数据，其中有真理，也有谬误，有规律，也有噪声，对同一事物的信息，因个人观点或集团利益而充满矛盾。例如，当一个公司向银行申请大额贷款时，银行查阅若干年积累的几十兆的数据，可能一些数据支持，而一些数据否定，决策者如何取舍? 面临浩渺的数据汪洋，人们呼唤从数据汪洋中去粗存精，去伪存精的技术。DM和KDD应运而生了。 2 KDD简史-- 一个正在上升的领域 知识发现（KD）早年萌芽于在机器学习和统计研究领域。1989年在IJCAIWorkshop会议上Piatetsky- sharpiro 正式提出KDD。 1991年， Piatetsky - sharpiro和W.Frawley推出第一本专著Knowledge Discovery in Dada base 。1991-1994年，年年举行关于KDD的Workshop会议。1995年，在加拿大召开了第一届知识发现和数据采掘国际学术会议。1996年由U.Fayyad等推出关于KDD的第二本专著Advances in Knowledge Discovery and Data Mining。1995-1998年年举办KDD国际会议，1997关于KDD的杂志Journal of DM and KDD创刊。1998年ACM的特殊兴趣组SIGKDD成立。 来自数据库、人工智能、机器学习领域的三支研究大军投入到KDD的研究中，发表了一大批关于KDD的研究成果和论文，并且开发了一大批KDD原型系统和商品化软件。目前国际上对数据采掘的研究主要集中在分类、聚集、连续值的趋势分析、关联、可视化、偏差分析、文本采掘等方面，并且在基础上开发了一大批共享软件和商业软件（参见http:// www. kdnuggets. com）。 3 数据采掘，知识发现与数据仓库 数据采掘（Data Mining）的本意是“从数据中采掘知识”，不少KDD界专家批评了这一简捷响亮而不太规范的简称，却又无可奈何地接受了它。就其本意，DM和KDD等价。根据KDD界几位权威专家（如R. Agrawal，U.Fayyad等）的主张，定义 KDD=数据清理+DM+知识评价与解释。并在1998年国际学术集团体SIG(特殊兴趣组)命名之争上，使SIGKDD战胜了SIGDM。因此，目前学术界公认，DM是KDD的核心，而KDD是DM的扩展和延伸。 数据仓库（Data Warehouse）为KDD作数据准备，相当于KDD的数据清理。但数据仓库可以独立成产品，它自己的相对简单的数据分析机制，而KDD也可以不需数据仓库而用自己的数据清理模块。 4 KDD的基本思想 4.1真理在数据中 KDD假定真理在数据中，KDD力图在数据库中去发现真理。 KDD的哲学思想是”实事求是”。“实事”即数据，“是”即数据中隐藏的规律，“求”就是去发现、去挖掘。这是与专家系统的本质差异。专家系统假定真理在领域专家脑中。专家系统试图从领域专家（例如，中医专家，汽车修理专家）那里获取知识，并将它表达为机器内部形式，知识获取和知识表达是几十年来人工智能界奋斗不止，而成果有限的挑战性难题。从这点上看，专家系统是“唯专家”的，而KDD是”唯数据”的。恐怕这也是专家系统不太成功，而KDD比较成功的哲学原因。笔者这一观点在一个KDD研讨会上得到多数同行的认可。 4.2训练数据──包含真理的数据。 我们通过实例来说明KDD从数据中采掘关联规则的思想。 编 号 安全状况 车 速 000 安 全 常 速 001 肇 事 快 002 肇 事 常 速 ．．． ．．． ．．． 999 安 全 快