大数据尹航.ppt

大数据价值 Big Data 大数据价值 大数据市场价值 IDC预测 中国的大数据服务市场 2011年 7760万美元 增长到 2016年 6亿美元 IDC预测 2016年全球市场规模 238亿美元 31.7% 服务器市场 21.1% 存储市场53.4% 基础设备 40% 趋势 增值服务 软件 Big Data 大数据价值 大数据市场价值 谢谢 大 数据 尹航 2014 10月 成都 Big Data 大数据 什么是大数据 大数据原理和构成 大数据应用 大数据价值 Big Data 目录 什么是大数据 Big Data 什么是大数据 Hadoop IBM 英特尔 HP 数据 商业智能 数据库 服务器 SAP HANA NoSQL SQL HDFS 预测 数据流 运算节点 机器学习 并行计算 磁盘阵列 甲骨文 AMD 内存计算 Google Map reduce 可视化 Gb Pb Tb Zb Big Data 什么是大数据 由多个软件、硬件部分组成的一个数据系统 一个执行体系 有别于传统企业数据中心，用来应对现代海量数据化的生活，商业环境。 不是一个行业，而是一种新的数据处理方法 是关于数据的运输和处理，以及最后有效使用的体系 与云计算一样 都是一种新的生产组织形式 Web 2.0时代的解决方案 大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯 Big Data 什么是大数据 大数据的目的 原始数据的处理和分类存储 将存储的数据调取并分析 最终提供决策依据 归类数据类型 有效分析组合 大数据的特点 4V 海量 高速 多样 精确 Big Data 什么是大数据 1 KB = 1024字节 存储单位 1 MB = 1024 KB 1 GB = 1024MB 1 TB = 1024GB 1 PB = 1024TB = 1,048,576 GB 1 EB = 1024PB = 1,073,741,824 GB 1 ZB = 1024EB = 1,099,511,627,776 GB 100万 G 10亿 G 1万亿 G 22亿台 215万台 2100台 500G硬盘电脑 15寸电脑排成行可以往返一次月球 Big Data 什么是大数据 Volume 海量 1 PB = 1024TB = 1,048,576 GB 1 EB = 1024PB = 1,073,741,824 GB 1 ZB = 1024EB = 1,099,511,627,776 GB Intel：人类文明开始到2003年 地球共产生了5EB数据. 2012年全年，全球产生数据2.7ZB 是 2003年以前的500倍 2015年，全球估计产生数据8ZB，等于1800万个美国国会图书馆 44% 35 ZB 2000年 数字信息占全球数据量的25% 75%都在报纸 胶片 磁带等媒介 2013年 数字信息 98% 非数字信息 2% Big Data 什么是大数据 商业数据现状 Twitter 2007年 5000条微博更新/天 2008年 30万条微博更新/天 2009年 250万条微博更新/天 2010年 3500万条微博更新/天 2011年 2亿条微博更新/天 2013年 4亿条微博更新/天 2013年 上传时长12年的视频/天 2013年 用户分享25亿条信息/天 我国一个一线城市的健康档案数据 5PB/年 我国一个智慧城市的数据 800 PB/年 一个单数据表几亿-几百亿条记录 下线商品14亿件，在线商品8亿件 淘宝数据库存了20PB数据 平均每月增加1.5PB 智能移动终端设备的巨量增长 Big Data 什么是大数据 Velocity 高速 6000万用户登录/天 20亿次 页面访问/天 每天1.2亿次网站访问 响应时间小于100毫秒 大数据的惊人不止是在数量上，同时数据还是巨量具有动态分析价值的数据。 访问响应时间的加快，数据库读写速度的加快，对电商企业来说就等于多成交。 对于很多情况下，动态的数据价值远大于静态数据，比如气象预测，灾难预测，快消行业等。 由于输入速度加快，所以要求输出速度也要加快 Big Data 什么是大数据 Variety 多样 数据： 结构化数据 半结构化数据 非结构化数据 指关系型数据表 指关系结构与内容混合在一起的数据类型 文档、视频、音频、图片 20% 结构化 80非结构化 企业数据 2012年互联网产生的数据 2