大数据应用分析技术与方法概述.pptVIP

大数据的应用（新的生活方式） 购物： 不受时空限制，随时随地购物。 在看不到商品的情况下，口碑就是质量。 大数据的应用（新的生活方式） 旅行：足不出户，安排好一切。 大数据的风险 1.安全问题 2.数据的真实性和规律性问题 大数据的风险 根据2012年6月16号纽约时报的一篇报道介绍了一个美国的父亲很生气的找到美国TARGET公司，因为TARGET公司说她女儿怀孕了，而他的女儿才15岁。但是1个月后他又来到了TARGET公司道歉承认他的女儿确实怀孕了， TARGET是一家优惠券发行及网上零售公司，TARGET公司利用大数据发现怀孕的妇女有不同的购买习惯，比如怀孕3个月后会购买无香料的洗发水等，5-6个月后会买补品等，通过类似的搜索，发现相应的客户。 大数据的风险 大数据时代没有隐私 爱德华·斯诺登 谢谢 第一个是互联网企业，比如我们有用户做网络广告监测，每天有几百G技术，网络点击数据，他就会去分析这些点击日志来分析，哪些用户在哪些阶段点击广告，从而帮助商户们来判断他投广告是否有价值。 第二是智能电网，比如说，他们一个省有300个用电用户，每隔几分钟会将他们大宗数据发送到后端集群当中，之后集群就会对这些数亿条数据进行分析，来分析一下大概的用电模式，根据用电模式来生产电力，这样能够节省电力资源的浪费。 第三个方面是车联网，车载终端，是每隔几分钟都会上传一些数据到后端数据集群里面，最后会分析这些数据，来判断一下大致路况是什么情况，之后将有价值的路况信息给Push客户端里面，能够帮助客户节省在路上时间。 第四是医疗行业，每个人看病都有病例，如果我们把全国，几千万病例都汇总起来之后进行一些数据分析，数据处理，会找出大致的一些模式，通过这种模式非常容易的帮助医生看病。 第五个是安全领域，在美国比较火，中情局，他们有很多视频数据关于煽动的，还有本拉登一些照片，之后就分析一些哪些煽动助萨达姆，卡札菲，本拉登，除此之外还有一些通过海量分析文本数据从而形成一定程度的AI。 * * 大数据应用分析技术与方法 ——Big Data 目录 大数据概述 大数据的产生和发展 大数据与传统数据的区别 第一章：大数据是信息社会的宝贵资源 前言 作者维克托·迈尔-舍恩伯格，大数据时代的预言家，《科学》《自然》等著名学术期刊最推崇的互联网研究者之一，“大数据商业应用第一人”，拥有在哈佛大学、牛津大学、耶鲁大学和新加坡国立大学等多个互联网研究重镇任教的经历。 前言 顾客 一次购买商品 1 面包、黄油、尿布、啤酒 2 咖啡、糖、小甜饼、鲑鱼 3 面包、黄油、咖啡、尿布、啤酒、鸡蛋 4 面包、黄油、鲑鱼、鸡 5 鸡蛋、面包、黄油 6 鲑鱼、尿布、啤酒 7 面包、茶叶、糖、鸡蛋 8 咖啡、糖、鸡、鸡蛋 9 面包、尿布、啤酒、盐 10 茶叶、鸡蛋、小甜饼、尿布、啤酒 品种 计数项: 品种 面包 6 啤酒 5 尿布 5 鸡蛋 5 黄油 4 糖 3 咖啡 3 鲑鱼 3 小甜饼 2 鸡 2 茶叶 2 盐 1 总计 41 前言 = 前言 大数据是未来的石油 习近平 政府管理不仅要讲究策略，还要讲究手段，比如大数据技术的应用，2014年3月8日???“大数据”首次写入政府工作报告 奥巴马 “将投入巨资拉动与大数据相关的产业”“数据为“未来的石油“，是美国综合国力的一部分，是与陆权、海权、空权同等重要的“国家核心资产”。 李克强： 加快推进全国中小企业征信系统建设,通过大数据等技术优化中小企业征信资质。 李克强 经济数据和目标的进一步调整，中小企业将面临更大的压力，互联网金融除了解决便利性问题外，更重要的是如何围绕特有的大数据资源展开对实体经济的服务 汪洋 数据为王，财政工作离不开大数据 前言 * 2012年3月，美国奥巴马政府宣布投资2亿美元启动“大数据研发计划”，旨在提高和改进从海量和复杂数据中获取知识的能力，加速美国在科学和工程领域发明的步伐，增强国家安全。 这是继1993年美国宣布“信息高速公路”计划后的又一次重大科技发展部署，由美国国家科学基金会、能源部等6个联邦部门共同投资。 美国的大数据战略 1.1大数据概述 大数据的概念 大数据源于英文：“Big Data”,如“海量数据”“信息爆炸”等。 麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储