张哲铭-数据分析和挖掘介绍.pptx

数据分析和挖掘方法介绍中国电信云计算公司 大数据产品线 2014年7月内容1、 数据挖掘案例分享2、 CRISP-DM流程3、 统计分析常用方法4、 数据可视化1、 数据挖掘案例分享2、 CRISP-DM流程3、 统计分析常用方法4、 数据可视化数据挖掘故事分享成效：农夫山泉近年以30%-40%的年增长率，在饮用水方面快速超越了原先的三甲：娃哈哈、乐百氏和可口可乐。农夫山泉用大数据卖矿泉水阿迪达斯的大数据思维成效：1、阿迪达斯帮助经销商解决库存问题2、增加了单店的销售率截止2012年数据（1）2012年阿迪达斯大中华区销售收入同比增长15%（2）2012年阿迪达斯集团销售收入同比增长6%，创历史新高，达149亿欧元（3）阿迪达斯目前在中国已有门店超过7000家（4）计划2015年能进入全国低线城市1400个，目前数字为1000个Verizon公司解决客户流失问题存在问题：1、流失一个老客户给公司带来的收入减少为200美元；? ???2、每个月客户流失率大约在2.5%左右；????3、每个月大致有70万左右的客户流失；???4、?每年因流失使Verizon公司减少收入约为16.8亿美元；解决方案：（1）建立客户流失模型（2）对客户进行分类、评分，并采取相应策略挽留成效：①?成本降低。 预算降低了60%以上②?收入提高。? 流失率下降33%1、 数据挖掘案例分享2、 CRISP-DM流程3、 统计分析常用方法4、 数据可视化CRISP-DM方法论 超市商品购买关联分析客户行为：（1）即兴或冲动购买（2）个人偏好分析商品之间的潜在关系分析顾客可能还会购买的商品模型实例分析（超市商品购买关联分析） Apriori关联规则分析原理：第一次扫描交易数据库D时，产生1-频繁集。在此基础上经过连接、修剪产生2-频繁集。以此类推，直到无法产生更高阶的频繁集为止。在第k次循环中，也就是产生k-频繁集的时候，首先产生k-候选集，k-候选集中每一个项集都是对两个只有一个项不同的属于k-1频繁集的项集连接产生的，k-候选集经过筛选后产生k-频繁集。输入：交易数据库D，最小支持度SUPmin。??输出：频繁集L??L1=find_frequent_1_itemset(D);//产生1-频繁集??for(k=2;Lk-1!=?;k++){???Ck=apriori_gen(Lk-1);//产生k-候选集???for?each?transaction?t?in?D{???Ct=subset(Ck,t);//Ct是Ck中被t包含的候选集的集合???for?each?candidate?c?in?Ct???c.count++;???}???Lk={c∈Ck|c.count=SUPmin};??}??L=?Lk;??下面我们来看一个详细的例子。设最小支持度为2；I1：水果蔬菜、I2：鱼、I3：啤酒、I4：牛奶、I5：鲜肉IDItemsItemsetSup. countItemsetItemset100I1,I2,I5I16I1I1,I2200I2,I4==C1:I27==L1:I2==C2I1,I3300I2,I3I36I3I1,I4400I1,I2,I4I42I4I1,I5500I1,I3I52I5I2,I3600I2,I3I2,I4700I1,I3I2,I5800I1,I2,I3,I5I3,I4900I1,I2,I3I3,I5I4,I5ItemsetSup. countItemsetItemsetSup. countItemsetI1,I24==?L2:I1,I2==?C3I1,I2,I32==?L3:I1,I2,I3I1,I34I1,I3I1,I2,I52I1,I2,I5I1,I41I1,I5I1,I52I2,I3I2,I34I2,I4I2,I42I2,I5I2,I52I3,I40I3,I51I4,I50结论：顾客在超市购买了水果蔬菜和鱼之后，很有可能会再买啤酒或者鲜肉；1、 数据挖掘案例分享2、 CRISP-DM流程3、 统计分析常用方法4、 数据可视化数据分析方法常用算法1、 数据挖掘案例分享2、 CRISP-DM流程3、 统计分析常用方法和算法4、 数据可视化数据可视化数据可视化：将数据库中每一个数据项作为单个图元元素表示，大量的数据集构成数据图像，同时将数据的各个属性值以多维数据的形式表示，可以从不同的维度观察数据，从而对数据进行更深入的观察和分析。数据可视化技术：1、使用一些统计分析工具实现例如：excel、Matlab、R语言、SPSS、SAS、python等2、使用网页前端框架技术实现例如：echarts（百度）、highstock和highcharts、D3（国外）等数据可视化感谢聆听！数据分布图我将分为4部分，分别介绍云计算公司的基本情况