数据挖掘技术2015B要点.pptx

数据挖掘技术王志海 zhhwang@bjtu.edu.cn 办公室: 北 502 电话:计算机与信息技术学院 Data Mining Techniques Dr. Zhihai Wang （Prof.） Beijing Jiaotong University Office: North 502 Tel.zhhwang@bjtu.edu.cn Data Mining Techniques 研究背景 基本定义 DM过程 DM任务与方法 与DM相关的理论 重要的学术会议与期刊 澳大利亚大学简介 ? Zhihai WANG, 2015 3 Data Mining的研究背景 数据库的规模（大数据） 摩尔定律（Moore’s Law）可知，计算机的性能每18个月就会提高1倍。而且，在数据存储领域中，在价格固定的前提下，数据存储能力每9个月就会提高1倍 分析能力 潜在价值 ? Zhihai WANG, 2015 4 Data Mining的研究背景 分析能力 潜在价值 驱动数据库发现知识研究的基本动机主要是在许多机构中数据库是非常庞大的信息宝库，可从中发现具有潜在价值的概念、模式和联系。这些知识可以有效地应用在许多方面，如商业决策、数据库模式精化、完整性实施、语义查询优化以及智能查询处理等。 ? Zhihai WANG, 2015 5 大数据的潜在价值 潜在价值 超市的商品摆放 智能搜索引擎 网上购物向导 银行用户信用等级评估 数据库逆向工程 …… … ? Zhihai WANG, 2015 6 Data Mining Techniques 研究背景 数据挖掘的基本定义 DM过程 DM任务与方法 与DM相关的理论 重要的学术会议与期刊 澳大利亚大学简介 ? Zhihai WANG, 2015 7 Data Mining(KDD)的基本定义 W. J. Frawley, G Piatetsky-Shapiro, C .J. Matheus (1991) KDD is the nontrivial process of identifying valid, novel, potentially useful, and ultimately understand-able patterns in data. KDD是从大量数据中提取出1)有效的、2)新颖的、3)有潜在作用的、并4)能最终理解的模式的非平凡的处理过程。 ? Zhihai WANG, 2015 8 Data Mining Techniques 研究背景 数据挖掘的基本定义 数据挖掘的基本过程 DM任务与方法 与DM相关的理论 重要的学术会议与期刊 澳大利亚大学简介 ? Zhihai WANG, 2015 9 Data Mining过程概述 Usama M. Fayyad et. al. (1996) 1）数据准备 6）挖掘算法确定 2）数据选择 7）数据挖掘 3）数据预处理 8）模式解释 4）数据缩减 9）知识评价 5）DM目标确定 ? Zhihai WANG, 2015 10 数据挖掘的基本过程（1） 数据准备 了解DM相关领域的有关情况，包括应用中的预先知识和目标，熟悉有关的背景知识，并弄清楚用户的要求。 ? Zhihai WANG, 2015 11 Data Mining过程（2） 数据选择 根据用户要求从数据库中提取与DM相关的数据，在此过程中，会利用一些数据库操作对数据进行处理，建立一个目标数据集，选择一个数据集或在多数据集的子集上聚焦。 ? Zhihai WANG, 2015 12 Data Mining过程（3） 数据预处理 对所选择的数据进行再加工，主要检查数据的完整性及数据的一致性，对其中的噪音数据进行处理，对缺损的数据(Missing, 丢失的? 不合理的? 不知道的?)可以利用统计方法进行填补，去除噪声或无关数据，去除空白数据域，考虑时间顺序和数据变化等。 ? Zhihai WANG, 2015 13 Data Mining过程（4） 数据转换 对经过预处理的数据，根据知识发现的任务对数据进行再处理，主要通过投影或数据库中的其他操作减少数据量或找到数据的不变式。 ? Zhihai WANG, 2015 14 Data Mining过程（5） 确定DM的目标 根据用户的要求，确定DM是发现何种类型的知识，因为对DM的不同要求会在具体的知识发现过程中采用不