清华大学大数据课程 第4次课 数据挖掘技术.pptxVIP

大数据分析和内存计算第4讲 数据挖掘技术概述李国良清华大学计算机系提纲数据挖掘概览数据预处理分类（Classification）聚类（Cluster）关联规则（Association Rule）回归（Regression）数据挖掘概览What?数据挖掘的定义Why?数据挖掘的动机How?哪些数据可以用来挖掘？数据挖掘的主要内容数据挖掘定义什么是数据挖掘（Data Mining）？Extraction of interesting (non-trivial, implicit, previously unknown and potentially useful) patterns or knowledge from huge amount of data 其他称谓：Knowledge discovery(mining) in database(KDD), data/pattern analysis, business intelligence, decision-support system, knowledge extraction, data archeology, data dredging and information harvesting etc.模式有效性度量SimplicityE.g., (association) rule length, (decision) tree size CertaintyE.g., confidence, P(A|B) = #(A and B)/ #(B), classification reliability or accuracy, rule strength, etc. UtilityPotential usefulness, e.g., support (association), noise threshold (description) NoveltyNot previously known, surprising (used to remove redundant rules) 为何需要数据挖掘？数据量大缺乏理论知识数据挖掘可以帮助产生新的假说或者使数据变得有意义 苦恼: 淹没在数据中 ; 不能制定合适的决策! 决策数据知识金融经济政府人口统计生命周期模式趋势事实关系模型关联规则序列目标市场资金分配贸易选择在哪儿做广告销售的地理位置为何需要数据挖掘？We are drowning in data, but starving in knowledge Data explosion: Automated data collection tools and mature database technology lead to tremendous amounts of data accumulated and/or to be analyzed in databases, data warehouses, and other information repositories. 数据挖掘的意义智能交通股票趋势分析数据挖掘应用银行美国银行家协会(ABA)预测数据仓库和数据挖掘技术在美国商业银行的应用增长率是14.9％。 分析客户使用分销渠道的情况和分销渠道的容量 ；建立利润评测模型；客户关系优化；风险控制等电子商务网上商品推荐；个性化网页；自适应网站…生物制药、基因研究DNA序列查询和匹配；识别基因序列的共发生性 …电信欺诈甄别；客户流失…保险、零售Income$40KYesNODebt10% of IncomeDebt=0%YesNONOYesGoodCreditRisksBadCreditRisksGoodCreditRisksQQ56QQ34II12factor nfactor 1factor 2数据挖掘应用决策树 Decision Trees序列分析 Sequence Analysis 倾向性分析Add NewProductDecreaseUsage???OpenAccn’tTime 客户保留 客户生命周期管理 目标市场 价格弹性分析神经网络 Neural Networks关联分析 Association聚类分析 Clustering 市场组合分析 套装产品分析 目录设计 交叉销售 客户细分 市场细分 倾向性分析 客户保留 目标市场 欺诈检测数据挖掘步骤数据预处理数据清理（消除噪音或不一致数据，补缺）数据集成（多种数据源可以组合在一起）数据变换（规范化）数据规约（数据简化）数据挖掘算法（使用智能方法提取数据模式）分类、聚类、关联分析、回归预测、文本挖掘质量评估（识别提供知识的真正有趣模式）知识表示（可视化和知识表示技术）数据质量：为何需要数据预处理？数据质量衡量：准确度: