数据挖掘过程的多维视图 - 计算机应用研究.pdf

第 8 期 潘无名等: 数据挖掘过程的多维视图 2·11 · 数据挖掘过程的多维视图 潘无名, 潘云鹤 ( 浙江大学 计算机学院 , 浙江 杭州 310027) 摘 要: 数据挖掘 ( DM) 是非常具有挑战性的工作 , 数据挖掘过程是多个因素耦合的决策问题。讨论了当前流 行的 DM 过程 CRISP- DM 和 SEMMA 的不同之处及优缺点。从机器学习、统计和数据质量角度对挖掘有效性作 了讨论, 认为一个真正高效的过程应该面向算法 , 强调探索, 以挖掘出高可靠性的具有商业价值的知识目标, 并 紧跟技术的发展。给出数据挖掘过程的多维视图, 将算法分解为组件维、模型维和过程维等维度, 以此提出新的 DM 过程的框架。 关键词: 数据挖掘; 过程 ; 算法 中图法分类号: TP311. 13 文献标识码 : A 文章编号: 1001- 3695( 2004) 08- 0211- 03 A Multidimensional Perspective of Data Mining Process PAN Wu- ming, PAN Yun- he ( College of Computer Science, Zhejiang University, Hangzhou Zhejiang 310027, China) Abstract: The Applications of Data mining in business is very challengeable, and the process of data mining is affected by many factors. In this paper we discuss two main methodology of data mining process. We analyze the validity of data mining re- sults from aspects of machine learning, statistics and data quality. We put data mining process in a multidimensional perspec- tive, and propose a new process framework of data mining. Key words: Data Mining; Process; Algorithms 1 引言 2 对现有DM 方法论的分析 数据挖掘可提供解决很多商业问题的方法, 如欺诈检测、 KDnuggets[ 5] 对数据挖掘中方法论 使用情况作了调查, 客户保持、市场分割、分险分析、吸引力分析、客户满意度、破产 2002 年 7 月公布结果显示使用 CRISP- DM 的人数超过了 预测和业务量预测等方面。数据挖掘是非常具有知识性和挑 51% , 另外 SEMMA 占12% , 剩余的使用其他方法论或不使用 战性的工作。如果对数据挖掘的算法没有深入的了解, 就不能 任何方法论。这次调查表明 CRISP- DM 和 SEMMA 是两个最 正确地进行挖掘。然而数据挖掘中使用的统计、机器学习以及 有影响力的方法论, 接下来各作介绍和评述。 其他算法数量众多, 涉及理论范围极广: 统计、随机过程、神经 2. 1 CRISP - DM 网络、决策树、遗传算法、粗集等[ 1 ～3]