-精选版大数据应用分析技术与方法概述.pptVIP

* 每天进步一点点 * 每天进步一点点 * 每天进步一点点 * 每天进步一点点 * 每天进步一点点 * 每天进步一点点 大数据应用分析技术与方法 ——Big Data 目录 大数据概述 大数据的产生和发展 大数据与传统数据的区别 第一章：大数据是信息社会的宝贵资源 前言 作者维克托·迈尔-舍恩伯格，大数据时代的预言家，《科学》《自然》等著名学术期刊最推崇的互联网研究者之一，“大数据商业应用第一人”，拥有在哈佛大学、牛津大学、耶鲁大学和新加坡国立大学等多个互联网研究重镇任教的经历。 前言 顾客 一次购买商品 1 面包、黄油、尿布、啤酒 2 咖啡、糖、小甜饼、鲑鱼 3 面包、黄油、咖啡、尿布、啤酒、鸡蛋 4 面包、黄油、鲑鱼、鸡 5 鸡蛋、面包、黄油 6 鲑鱼、尿布、啤酒 7 面包、茶叶、糖、鸡蛋 8 咖啡、糖、鸡、鸡蛋 9 面包、尿布、啤酒、盐 10 茶叶、鸡蛋、小甜饼、尿布、啤酒 品种 计数项: 品种 面包 6 啤酒 5 尿布 5 鸡蛋 5 黄油 4 糖 3 咖啡 3 鲑鱼 3 小甜饼 2 鸡 2 茶叶 2 盐 1 总计 41 前言 = 前言 大数据是未来的石油 习近平 政府管理不仅要讲究策略，还要讲究手段，比如大数据技术的应用，2014年3月8日???“大数据”首次写入政府工作报告 奥巴马 “将投入巨资拉动与大数据相关的产业”“数据为“未来的石油“，是美国综合国力的一部分，是与陆权、海权、空权同等重要的“国家核心资产”。 李克强： 加快推进全国中小企业征信系统建设,通过大数据等技术优化中小企业征信资质。 李克强 经济数据和目标的进一步调整，中小企业将面临更大的压力，互联网金融除了解决便利性问题外，更重要的是如何围绕特有的大数据资源展开对实体经济的服务 汪洋 数据为王，财政工作离不开大数据 前言 * 2012年3月，美国奥巴马政府宣布投资2亿美元启动“大数据研发计划”，旨在提高和改进从海量和复杂数据中获取知识的能力，加速美国在科学和工程领域发明的步伐，增强国家安全。 这是继1993年美国宣布“信息高速公路”计划后的又一次重大科技发展部署，由美国国家科学基金会、能源部等6个联邦部门共同投资。 美国的大数据战略 1.1大数据概述 大数据的概念 大数据源于英文：“Big Data”,如“海量数据”“信息爆炸”等。 麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。 1.1大数据概述 美国国家标准和技术研究院则认为：大数据是由于数据的容量、数据的获取速度或数据的表示限制了使用传统关系方法对数据的分析处理能力。需要使用扩展的机制来提高数据处理效率的技术。 1.1大数据概述 大数据的特征 容量大 1 谷歌每月处理数据量在400PB，能处理千亿以上的网页数量 百度目前数据总量接近1000PB，存储网页数量近一万亿，每天处理60亿次搜索请求 一个8Mbps的摄像头一小时可产生3.6G数据 1.1大数据概述 1Byte = 8 Bit 1KB = 1,024 Bytes 1MB = 1,024 KB = 1,048,576 Bytes 1GB = 1,024 MB = 1,048,576 KB = 1,073,741,824 Bytes 1TB = 1,024 GB = 1,048,576 MB = 1,099,511,627,776 Bytes 1PB = 1,024 TB = 1,048,576 GB =1,125,899,906,842,624 Bytes 1EB = 1,024 PB = 1,048,576 TB = 1,152,921,504,606,846,976 Bytes 1ZB = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes 1YB = 1,024 ZB = 1,208,925,819,614,629,174,706,176 Bytes BB/NB/DB/CB 一个汉字两个字节2byte，1Kb512个汉字 1.1大数据概述 《红楼梦》含标点87万字（不含标点853509字） 每个汉字占两个字节：1汉字=16bit = 2*8位=2bytes 1GB 约等于671部红楼梦 1TB 约等于6