數據-台湾辅仁大学联合研究中心.pptVIP

数据挖掘无处不在 商业问题 Microsoft算法 预测类别变量，例如营销响应、顾客流失、违约预测(巴塞尔资本协定IRB)… 决策树 贝氏机率分类 群集 类神经网络 罗吉斯回归 预测连续变量，例如预测销售量、预测客户价值变动、预测金融商品价格波动... 回归树 时间序列 类神经网络 预测序列，例如找出网站用户的点选路径模式、客户缴款行为模式、商品购物顺序 时序群集 找出产品交叉销售关联性，又称为购物篮分析 关联规则 决策树 找出潜在相似性，例如市场区隔、侦测晶圆瑕疵分配、文件分类、保险浮滥理赔侦测、伪卡侦测 群集 时序群集 2011/11/22 * / Thanks for your listening! * * * * * * * * * * * * * * * * * * * * * * / 联合研究中心 谢弘一 数据挖掘101 数据挖掘名词的来源 2011/11/22 * / 1960年代：Data Fishing 1980年代末期：Database Mining (Rakesh Agrawal)然而，Database Mining一词已被HNC公司注册，为避免侵权，这群学者改用Data Mining，泛指不需事前假设，以找寻资料规则的演算处理。 1991年：Data Mining一字是由Usama Fayyad于1991时，首次于他的博士论文中发表。 数据挖掘的起源 2011/11/22 * / 数据挖掘的开创者，Usama Fayyad，出生于突尼西亚的电脑科学家，1987年就读密西根大学时硕士班时，参加General Motors的暑期工作，目的为编译大量维修资料库。Fayyad希望找出一个方法，协助维修人员能够根据汽车的型式、引擎容量等，询问资料库一些问题，并且能够迅速地得到一个适当的回应。然而，由于资料库中存放了数十亿笔的记录，人类的能力无法进行所有的资料处理，因此他设计出一种辨识模式的演算法，并成为他在1991年所发表的博士论文。 离开密西根后，Fayyad加入了NASA的喷射推进实验室，将他发展的演算法应用于太空探测、地质研究等工作上均展现了非常惊人的潜力，最后连美国军方也开始应用这样的技术来增强雷达解读与辨识资料的能力。由于许多领域皆表现出高度的兴趣，Fayyad与同事在1995年召开首次的KDD国际研讨会，当时参加人数为500人左右，为原先预期人数的两倍，而在2000年所举办的研讨会之参与人数已达到950人(MIT Technology Review, 2001)。几年下来，已成为 Data Mining 界的年度盛会了。 Data Mining最早是被应用在天文学上，藉由机器学习、类型辨识及统计等技术，在短短4小时内所发现的行星胜过20多位天文学家4年的研究成果。 为何要使用数据挖掘？ 2011/11/22 * / 过去人们将资料藉由人力分析与解释方式转换成知识，随传统资料处理逐渐转成电子型式，资料探勘的发展就已悄悄地进行。拜科技进步所赐，电脑及储存媒体等硬体与软体之价格不断下降，电脑的运算速度也不断的提升，再加上交易资料不断累积，庞大的资料量已难单纯使用人脑加以理解与想象。资料的成长，除资料栏位数目的增加，也包含了资料笔数的成长(Fayyad Stolorz, 1997)。 人类分析及想象较高维度资料之能力有限，此时常用的解决方案即是将高维度的资料给予转换为较低之维度，然后再于此简化的资料集合中进行分析。然而，将高维度资料转换为人脑可处理之低维度，存在相当大的风险，因其极可能扭曲或忽略原本资料间的关系；大量的资料，更是难以单纯使用传统人工方式加以整理。藉由电脑强大的运算能力与各学科的专业知识，能够以有效率方式，从现存高维度资料中，萃取内隐难见，而深具价值的资讯。 2011/11/22 * / 资料来源：“Data mining and KDD: Promise and challenges,” by U. Fayyad P. Stolorz, 1997, Future Generation Computer Systems, 13, 99-115. 2011/11/22 * / (一) 了解应用领域与相关先验知识，并从顾客观点出发，确认KDD程序之目标。 (二) 建立目标资料集合(target data set)：选择欲执行探索任务之资料集合，或是资料样本或变数之子集合。 (三) 进行资料清理(data cleaning)及预处理(preprocessing)，包括处理资料噪音、搜集建立模型之必要资讯、决定处理遗漏值之准则……等。 (四) 资料减量(data reduction)及投射(projection)：藉由维度缩减(dimensionality reduction)或