橘云大数据处理平台 .pptxVIP

橘云大数据处理平台Orange Cloud Data Computing 新产品研发中心 橘云平台产品线 亚信联创科技(中国)有限公司 2013年4月提纲1橘云大数据处理平台简介2橘云大数据处理平台功能与特点3橘云大数据处理平台部署方案4橘云大数据处理平台二次开发接口5橘云大数据处理平台业务场景示例概念大数据：大数据（big data），或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到抽取，管理 ，处理，并整理成为帮助企业经营决策更积极目的的资讯。大数据的3V特点：volume,velocity,variety大数据的单位：最小的基本单位是Byte，按顺序给出所有单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、DB、NB，云计算：（cloud computing)是基于/view/6825.htm互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是/view/729629.htm虚拟化的资源。意味着计算能力也可作为一种商品通过/view/6825.htm互联网进行流通。云计算是一种通过Internet以服务的方式提供动态可伸缩的/view/729629.htm虚拟化的资源的计算模式。云模式：cloud model ,用于预测云的性能和行为而采用的物理或数学框架“大数据”时代已经来临 互联网时代，尤其是社交网络、电子商务与移动通讯把人类社会带入一个以PB为单位的结构与非结构数据信息的新时代，它就是“大数据(BigData)”时代。 大数据为云计算的大规模与分布式的计算能力提供了应用的空间，解决了传统计算机无法解决的问题。这个领域的计算标准与软件均刚刚起步，为全世界新型软、硬件及应用创新提供了前所未有的机会。“大数据”的3V特性 Volume海量Variety多样Velocity实时数据处理的量级正从TB级向PB、ZB级扩张。能处理结构化数据和非结构化数据，Web 数据、语音数据甚至是图像、视频数据。从延迟、批量处理向实时处理、流式处理转变，支持海量数据的毫秒级运算。移动运营商的云计算需求网民数量增长趋势（亿）中国手机互联网用户每周手机上网频次统计44.4%33.3%3.18亿中国手机互联网用户每周媒体接触时长统计单个网民日均上网时间增长趋势（小时）数据来源：中国互联网发展状况统计报告、中国移动互联网与3G用户调查报告 DCCI 2010手机互联网受众消费与广告营销调查面临的问题随着智能手机的快速普及以及移动互联网业务的迅猛发展，各种网络信令、互联网、流量数据信息等数据源竞相引入，对经营分析数据处理及存储要求不断增加，传统的BI数据处理架构在日益增长的计算、存储、可靠性要求以及系统扩容成本等方面均面临着严峻的考验：计算能力　传统ETL工具对主机性能依赖较大，数据处理任务交错，无法充分利用设备性能。很多在DB/DW中进行的数据校验、转换等工作对应用性能影响较大。存储能力　存储压力大，海量存储难以满足。存储扩容难度大。高可靠性　传统ETL方式可靠性不高，运维管理复杂，影响应用的稳定性和数据安全性。扩容成本　扩容成本高，难度大、主机、存储、数据库成本占系统建设比重大，压缩了应用建设的投入。结构化和非结构化数据1、对于IT行业来说，大数据，云计算，云模式，无疑是未来的热门研究领域。2、大数据是由结构化和非结构化的数据组成。3、结构化数据是存储在数据库里面，占大数据的10%4、非结构化数据是跟人类信息密切相关的数据，比如说邮件，视频，微博，帖子，手机呼叫，网页点击等。它们占大数据的90%。1、结构化数据： 任何一列的数据不可以再细分; 任何一列数据都有相同的数据类型； 所有关系型数据库中的数据，全部都是结构化数据； 一般文件中的数据，就不是结构化数据；2、非结构化数据； 不是结构化数据，即非结构化数据； 简单来说，一列的数据可以再细拆分； HADOOP概念1、分布式系统（distributed system）是建立在网络之上的/view/37.htm软件系统；2、分布式数据库：分布式/view/1088.htm数据库系统通常使用较小的/view/3314.htm计算机系统，每台计算机可单独放在一个地方，每台计算机中都有DBMS的一份完整拷贝副本，并具有自己局部的数据库，位于不同地点的许多计算机通过网络互相连接，共同组成一个完整的、全局的大型数据库。3、Hadoop是一个分布式文件系统的基础架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力高速运算和存储。HADOOP实现了一个分布式文件系统，简称HDFS。并且设计用来部署在低廉的（low-cost）硬件上。且它提供高传输率（high throughput）来访问/vie