数据解析思维训练(报告内容).ppt

数据分析的新思维 ——数据挖掘中的数据准备 朱建平 厦门大学经济学院计划统计系 xmjpzhu@ 报告内容及目的 让大家了解数据挖掘的概念，认识海量数据分析时所遇到的问题，在此基础上，介绍原始大型数据库的基本表述和特征，了解数据准备的不同技术，比较去除丢失值的不同方法，构造时间相关数据的统一表述方法，实现一些数据预处理技术。其目的是让大家从中领悟现代统计方法的基本思想。 参考文献 Cios, K. J., Pedrycz, W. and Swiniarski, R. W. (1998), Data Mining Methods for Knowledge Discovery, U.S.A Friedman, J. H., Data Mining and Statistics: What’s The Connection? Technical Report, Stanford University Glymour, C., etc. Statistical Themes and Lessons for Data Mining, Data Mining and Knowledge Discovery 1, 11-28 (1997) Han, J . W. and Kamber, M. Data Mining: Concepts and Techniques ,Higher Education Press, (2001) Theresa, B., Frederick, E. P. and Gurdial, A., Information-Theoretic Measures of Uncertainty for Rough Sets and Rough Relational Databases, Journal of Information Sciences 109(1998), pp185-195 Nelson , D. E., High Range Resolution Radar Target Classification: A Rough Set Approach，Paper of PhD 张尧庭，谢邦昌，朱世武，数据采掘入门及应用——从统计技术看数据采掘，中国统计出版社，北京，(2001.6) 史忠植著，知识发现，清华大学出版社，北京，(2002.1) 数据挖掘讨论组，数据挖掘的研究历史和现状， / 闪四清等译(Mehmed Kantardzic)，数据挖掘——概念、模型、方法和算法，清华大学出版社，(2003.8) 张银奎等译(Hand, D)，数据挖掘原理，机械工业出版社，(2003.4) 范明等译（Hastie, J ），统计学习基础——数据挖掘、推理与预测，电子工业出版社，(2004.1) 朱建平，数据挖掘中的统计方法及实践，中国统计出版社（2006.10） 数据挖掘中的数据准备 一、数据挖掘的定义 二、数据挖掘与知识发现 三、海量数据分析中遇到的问题 四、数据准备 1、数据选择 2、数据预处理 3、数据变换 What are these numbers trying to Tell me??? Matrix Codes ９９：８１７９，７９５４， 舅舅：不要吃酒，吃酒误事， ７６２６９，８４０６，９４０５， 吃了二两酒，不是动怒，就是动武， ７９１８９３４，１.９１８１７。 吃酒要被酒杀死，一点酒也不要吃。 What Are These Numbers Trying to Tell Us? 7 ÷2 2≦x≦3 40 ÷ 6 二四六八 0000 1 × 1 = 1 10002 =100×100×100 7/8 一、数据挖掘的技术定义与商业定义 什么是数据挖掘(Data Mining)？ 关于定义取决于定义者的观点和背景，各人的说法不一. Friedman, J. H.在技术报告Data Mining and Statistics: Whats The Connection? 中总结出了多家关于数据挖掘的定义(也有对知识发现而言的)： Fayyad提出数据挖掘是一个确定数据中有效的、新颖的、潜在有用的，以及最终可理解的模式的非平凡过程. Zekulin的说法是数据挖掘是一个从大型数据库中提取以前未知的、可理解的、可执行的信息，并用它来进行关键的商业决策的过程. Ferruzza给出数据挖掘是用在知识发现过程，来辩识存在于数据中的未知关系和模式的一些方法. Jonn提