关于大数据你必须要了解的知识幻灯片.pptVIP

大数据 什么是大数据 大数据原理和构成 大数据应用 大数据价值 Big Data 目录 1 2020/3/24 什么是大数据 2 2020/3/24 Big Data 什么是大数据 数据 数据库 预测 数据流 运算节点 机器学习 AMD 可视化 3 2020/3/24 Big Data 什么是大数据 由多个软件、硬件部分组成的一个 数据系统 一个执行体系 有别于传统企业数据中心，用来应对现代 海量数据 化的生活，商业环境。 不是一个行业，而是一种新的数据处理方法 是关于 数据 的运输和处理，以及最后有效使用的体系 与云计算一样 都是一种新的生产组织形式 Web 2.0 时代的解决方案 大数据 (big data) ，或称巨量资料，指的是所涉及的资料量规模巨 大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、 处理、并整理成为帮助企业经营决策更积极目的的资讯 4 2020/3/24 Big Data 什么是大数据 大数据的目的 原始数据的处理和分类存储 将存储的数据调取并分析 最终提供决策依据 归类数据类型 有效分析组合 大数据的特点 4V 海量 高速 多样 精确 5 2020/3/24 Big Data 什么是大数据 1 KB = 1024 字节 存储单位 1 MB = 1024 KB 1 GB = 1024MB 1 TB = 1024GB 1 PB = 1024TB = 1,048,576 GB 1 EB = 1024PB = 1,073,741,824 GB 1 ZB = 1024EB = 1,099,511,627,776 GB 100 万 G 10 亿 G 1 万亿 G 22 亿台 215 万台 2100 台 500G 硬盘电脑 15 寸电脑排成行可以往返一次月球 6 2020/3/24 Big Data 什么是大数据 Volume 海量 1 PB = 1024TB = 1,048,576 GB 1 EB = 1024PB = 1,073,741,824 GB 1 ZB = 1024EB = 1,099,511,627,776 GB Intel ：人类文明开始到 2003 年 地球共产生了 5EB 数据 . 2012 年全年，全球产生数据 2.7ZB 是 2003 年以前的 500 倍 2015 年，全球估计产生数据 8ZB ，等于 1800 万个美国国会图书馆 44% 35 ZB 2000 年 数字信息占全球数据量的 25% 75% 都在报纸 胶片 磁带等媒介 2013 年 数字信息 98% 非数字信息 2% 7 2020/3/24 Big Data 什么是大数据 商业数据现状 Twitter 2007 年 5000 条微博更新 / 天 2008 年 30 万条微博更新 / 天 2009 年 250 万条微博更新 / 天 2010 年 3500 万条微博更新 / 天 2011 年 2 亿条微博更新 / 天 2013 年 4 亿条微博更新 / 天 2013 年 上传时长 12 年的视频 / 天 2013 年 用户分享 25 亿条信息 / 天 我国一个一线城市的健康档案数据 5PB/ 年 我国一个智慧城市的数据 800 PB/ 年 一个单数据表几亿 - 几百亿条 记录 下线商品 14 亿件，在线商品 8 亿件 淘宝数据库存了 20PB 数据 平均每月增加 1.5PB 智能移动终端设备的巨量增长 8 2020/3/24 Big Data 什么是大数据 Velocity 高速 6000 万用户登录 / 天 20 亿次 页面访问 / 天 每天 1.2 亿次网站访问 响应时间小于 100 毫秒 大数据的惊人不止是在数量上，同时数据还是巨量具有动态分析价值的数据。 访问响应时间的加快，数据库读写速度的加快，对电商企业来说就等于多成交。 对于很多情况下，动态的数据价值远大于静态数据，比如气象预测，灾难预测，快消行业等。 由于输入速度加快，所以要求输出速度也要加快 9 2020/3/24 Big Data 什么是大数据 Variety 多样 数据： 结构化数据 半结构化数据 非结构化数据 指关系型数据表 指关系结构与内容混合 在一起的数据类型 文档、视频、音频、图片 20% 结构化 80 非结构化 企业数据 2012 年互联网产生的数据 25% 结构化 75 非结构化 50%-70% 源于人与 人的互动 10 2020/3/24 Big Data 什么是大数据 Veracity 准确 大数据的核心思想之一 准确源自于对全部数据的处理分析 基础数据的真实准确性，才能保证结果的有效性。 11 2020/3/24 Big Data 什么