大数据分析与挖掘.pptx

大数据与机器学习 海量数据可广泛获得，所稀缺的是如何从中挖掘出智慧和观点。 ——Google 首席经济学家 Hal Varian 大数据分析主要依靠机器学习和大规模计算，机器学习已成为大数据的基石。 机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。 简而言之，机器学习是一种通过利用数据，训练出模型，然后使用模型预测的一种方法。机器学习的常见用途统计分析与数据挖掘什么是数据挖掘？数据分析与数据挖掘的区别 数据分析只是在已定的假设、先验约束上处理原有计算方法，统计方法，将数据分析转化为信息，而这些信息如果需要进一步的获得认知，转化为有效的预测和决策，这时就需要数据挖掘数据分析数据挖掘数据量数据量一般不大数据量通常很大约束从一个既定假设（目标）出发可以不需要既定的假设（目标）对象针对数字化的数据可以针对数字化的数据，还可以针对声音，文本，图像等结果对结果进行解释，呈现有效的信息结果有时不容易解释，着眼于预测未来，提出决策建议 数据分析是把数据变成信息的工具，数据挖掘是把信息变成认知的工具，如果我们想要从数据中提取一定的规律（即认知）往往需要数据分析和数据挖掘结合使用。大数据分析与挖掘的常见用途1、自动预测趋势和行为 数据挖掘自动在大型数据库中寻找预测性信息，以往需要进行大量手工分析的问题如今可以迅速直接由数据本身得出结论。谷歌预测冬季流感的传播初步锁定与流感相关的关键词条优化词条筛选美国疾控中心记录的流感事件发生的区域和时间预测结果预测模型谷歌数据库用户搜索记录谷歌准确的预测出2009年甲型H1N1流感的爆发，并明确指出爆发地所在的州以及时间。与滞后的官方数据相比，谷歌成为一个更有效及时的指示者。大数据分析与挖掘的常见用途购物篮分析2、关联分析顾客一次购买商品1面包、黄油、啤酒、尿布、牛奶2咖啡、糖、小甜饼、鲑鱼3面包、黄油、咖啡、尿布、牛奶、鸡蛋、啤酒4面包、黄油、鲑鱼、鸡5鸡蛋、面包、黄油6啤酒、鲑鱼、尿布、牛奶7番茄、啤酒、虾、苹果8土豆、面包、牛奶、生菜9啤酒、面包、尿布、咖啡10茶叶、鸡蛋、盐、啤酒 数据关联是数据库中存在的一类重要的可被发现的知识。若两个或多个变量的取值之间存在某种规律性，就称为关联。关联可分为简单关联、时序关联、因果关联。关联分析的目的是找出数据库中隐藏的关联网。有时并不知道数据库中数据的关联函数，即使知道也是不确定的，因此关联分析生成的规则带有可信度。 经过关联分析，发现顾客经常同时购买的产品中，啤酒与尿布同时出现的频率最高大数据分析与挖掘的常见用途3、聚类 数据库中的记录可被化分为一系列有意义的子集，即聚类。聚类增强了人们对客观现实的认识，是概念描述和偏差分析的先决条件。经过对电信行业用户的特征进行聚类，可以完成客户的画像，可以基于多个维度完成画像，也可以基于关联分析的基础上进行降维处理后再开展画像。收入群体A：年龄50岁以上 年收入20K以下 月话费支出50元以下群体B：年龄30~50岁 年收入80K以上 月话费支出200元以上群体C：年龄20~30岁 年收入50K 月话费支出100元年龄话费支出大数据分析与挖掘的常见用途4、概念描述 概念描述就是对某类对象的内涵进行描述，并概括这类对象的有关特征。概念描述分为特征性描述和区别性描述，前者描述某类对象的共同特征，后者描述不同类对象之间的区别。生成一个类的特征性描述只涉及该类对象中所有对象的共性。生成区别性描述的方法很多，如决策树方法、遗传算法等。序号按时还款婚姻状态应纳税收入诈骗嫌疑1是单身125K否2否已婚100K否3否单身70K否4是已婚120K否5否离异95K是6否已婚60K否7是离异220K否8否单身85K是9否已婚75K否10否单身90K是按时还款否是否婚姻状态已婚单身.离异决策树否应纳税收入80K 80K 否是大数据分析与挖掘的常见用途4、概念描述 概念描述就是对某类对象的内涵进行描述，并概括这类对象的有关特征。概念描述分为特征性描述和区别性描述，前者描述某类对象的共同特征，后者描述不同类对象之间的区别。生成一个类的特征性描述只涉及该类对象中所有对象的共性。生成区别性描述的方法很多，如决策树方法、遗传算法等。大数据分析与挖掘的常见用途5、偏差检测 数据库中的数据常有一些异常记录，从数据库中检测这些偏差很有意义。偏差包括很多潜在的知识，如分类中的反常实例、不满足规则的特例、观测结果与模型预测值的偏差、量值随时间的变化等。偏差检测的基本方法是，寻找观测结果与参照值之间有意义的差别。 一个人的年龄为-999可能是程序处理缺省数据的方式