网络新技术之大数据39.pptVIP

网络新技术之大数据 5. 大数据技术 5.1 大数据的定义 5.2 大数据的技术特征 5.3 大数据的典型应用 5.4 大数据的发展趋势 一组数据 3亿用户,每天上亿条微博. 2015年全球移动终端产生的数据量6300PB Facebook每天要存储大约100TB的用户数据； NASA 美国宇航局 每天要处理约24TB的数据 微信国内用户4亿，国外用户突破7千万，每天产生数据 百度每天处理数据量100PB GB TB PB EB ZB 大数据时代的爆炸增长 想驾驭这庞大的数据，我们必须了解大数据的特征。 地球上至今总共的数据量： 在2006 年，个人用户才刚刚迈进TB时代，全球一共新产生了约180EB的数据； 在2011 年，这个数字达到了1.8ZB。 而有市场研究机构预测： 到2020 年，整个世界的数据总量将会增长44 倍，达到35.2ZB（1ZB=10 亿TB）！ 1PB （拍字节） = 2^50字节 1EB （艾字节） = 2^60字节 1ZB （泽字节） = 2^70字节 大数据概念和特征 什么是大数据(Big data)？ 维基百科的定义：大数据指难以用常用的软件工具在可容忍时间内抓取、管理以及处理的数据集(一般单个数据集大小在10T左右)。 大数据之所以在最近走红，主要归结于互联网、移动设备、物联网和云 计算等快速崛起，全球数据量大大提升。 “大数据”是继云计算、物联网之后IT产业又一次颠覆性的技术变革 2006年左右，数据量已足够大，但是当时大数据不红，why？ 为什么叫大数据：一是数量大 YB:2的80次方，ZB的1000倍 ZB:2的70次方，EB的1000倍 EB:2的60次方，PB的1000倍 PB:2的50次方，TB的1000倍 TB:2的40次方，GB的1000倍 GB:2的30次方，MB的1000倍 绝大部分应用在这两个数量级 二是类型多 结构特征：结构化、半结构化、非结构化 拥有特征：私有、共有、公开 形态特征：语音、文本、数值、图像、视频 为什么叫大数据：二是类型多 三是更接近把握信息资源的本质 大数据真正开始把信息变成资源 有的文章将大数据看作石油，大数据研究与自然资源利用发现、开采、提炼存在一定的相似之处 研究大数据，首先要研究各种有用的信息在何处，就是找矿 其次是把满足特定需求的信息收集过来，就是开矿 第三是把收集的信息按应用需求进行结构化处理，就是提炼，如同石油必须经过炼化才能变成消费用的汽油、柴油或作为原料用的聚乙烯、聚丙烯 第四是将这样的信息与具体的应用结合，使之发挥作用，这就是基于大数据的应用系统，或称之为围绕应用的大数据管理系统，如同汽油通过加油站加到消费者的汽车内，石化原料变成衣服、设备或其部件。 大数据的各部分组成 大数据技术：图像、音频、视频、非结构化、社交关系数据处理技术商； 现有IT系统改造商：大数据咨询公司、集成商、ERP、商务智能、客户关系管理系统； 终端提供商向数据提供商演进：对现有客户数据的深度把握、建立客户之间的社交和联系； 展现方式：大型控制中心、移动终端 在多样性、体量、速度三大特征的指引下，大数据将有新型的展现方式：大型控制中心和移动终端，实现数据的实时处理和快速决策。 大数据与传统数据库 11 大数据与其他新兴技术的关系 大数据、物联网、云计算、移动通信等都是近年涌现出来的新兴概念，彼此之间不是孤立的，而是存在着内部联系。 大数据带来的思维方式的变化 处理的对象往往是全部数据，而不是部分数据的采样 采样的不合理会导致预测结果的偏差，在大数据时代，依靠强大的数据处理能力，应该去处理全部的数据。 不再执迷于精确性 精确的、规范化的、可以被传统数据库处理的数据只占全部数据的5%，必须接受不精确性才能处理另外95%的数据。 错误的数据是客观存在的，竭力避免它就失去了应有的客观性和公平性。 大数据的简单算法比小数据的复杂算法更有效。 更加关注相关性，而不是因果性 预测依靠的是相关性。 很多情况下知道“是什么”即可，不必知道“为什么”。 大数据的价值链 数据 数据的掌控者，拥有或者可以收集大量数据的公司。海量的数据就是财富，可以考虑自己分析或者卖数据给其他公司。 技术 技术供应商或者分析公司。掌握了从海量数据中分析出有用信息的技能或者工具，但本身不一定拥有数据。 思维 有创新思维的人或者公司。他们对大数据敏感，有怎样挖掘数据的新价值的独特想法。 @2013 北京泽佳公司版权所有 Copyright?2013 Zejia Consulting Corporation 第 15 页 大数据基础架构要求 可预测的低延迟 高事务参数 灵活的数据结构 获取 组织 分析 决策 高吞吐量 就地准备 所有数据源和结构 深度分析 敏捷开发 高度可伸缩性 实时 流数据 运