大数据漫谈——数加平台.docxVIP

PAGE 1 PAGE 1 大数据漫谈——数加平台  将来3年，大数据市场规模将达到1万亿元，基于阿里云大数据平台数加，将有千余家合作伙伴、万名首席数据官和5万数据科学家诞生，把中国大数据市场规模拓展至万亿规模。  将来3年，大数据市场规模将达到1万亿元，基于阿里云大数据平台数加，将有千余家合作伙伴、万名首席数据官和5万数据科学家诞生，把中国大数据市场规模拓展至万亿规模。——胡晓明（孙权）  2016年1月20日，阿里云在2016云栖大会上海峰会上宣布开放阿里巴巴十年的大数据能力，发布全球首个一站式大数据平台“数加”。  这一平台承载了阿里云“普惠大数据”的抱负，即让全球任何一个企业、个人都能用上大数据。数加平台首批集中发布了20款产品，掩盖数据采集、计算引擎、数据加工、数据分析、机器学习、数据应用等数据生产全链条。  “这是一个人人都在谈大数据的时代，但只有极少数人在用大数据。”阿里云大数据事业部资深总监徐常亮特殊强调“这些技术至少领先业界三年”，在输出自身大数据能力的同时，“数加”还向有数据开发能力的团队开放。这些团队可入驻“数加”，借助数加上的工具为各行业供应数据服务。“就像在淘宝开店一样，只是他们售卖的是专业能力。”  那数加究竟是什么呢？我们从如下几个方面来分析一下：  一、数加的来世今生  我觉得阿里对数据的重视特别早，而且也是特别情愿投入的。  早在阿里云成立之前，应当是06、07年左右，七公就组建了一只数据平台部的团队，它就是数据事业部（CDO）的前身。在云端、数据魔方、淘宝时间机、淘宝指数、TCIF、阿里妈妈DMP、全景洞察等都是出自这个团队之手，这个团队专业解决淘宝早期数据仓库、数据集市、以及数据分析相关的专业问题。  09年的时候，王坚来到阿里，讲了云计算、大数据将来的愿景，可是当时没有几个人能听懂，但是，我觉得马总还是很厉害的，他信了。然后，阿里提出了云计算、大数据相关战略，阿里云也就在那时成立了。  数据平台事业部最早使用的并不是现在在用的MaxCompute（原ODPS），而是Hadoop，原hadoop集群令名为云梯1，当时阿里也在研发自己的计算平台，就是原ODPS，并令名为云梯2。  云梯2在开始的时候，并不是很好用，不过，拿到了内部一个很大的客户，就是阿里金融的蚂蚁小贷。基本上也可以这么说，没有蚂蚁小贷的磨合，基本很难有现在的MaxCompute。  云梯1、云梯2在内部争吵了很长一段时间，后来，出于各方的考虑，公司打算，启动登月项目，从云梯1全部迁移到云梯2。  不管是云梯1，还是云梯2，其实，都只是整个大数据技术生态系统中很小的一块，也就是计算引擎那一块，正如我上面所讲的，一个属于hadoop生态系统，一个属于阿里云自建的数加生态系统。  云梯1当时在内部使用也很广泛，全部内部的数据加工，数据应用基本上都是基于云梯1的，而且，云梯1通过5K项目，成功使单集群的规模扩展到了5000台。而云梯2的生态是后来渐渐建立起来的，包括底层计算平台，开发工具/组件，基于各自算法的计算引擎/服务，以及最上层的各种数据应用/产品，是在云梯1迁移到云梯2的过程中，这些工具，引擎，应用才渐渐完善，统一。  当然，现在阿里云的整个系统，包括内部系统，都是应用在数加的技术之上，这个也是阿里历来的习惯，把内部使用、验证过的东西，供应给社会使用。这样的好处在于与单纯做产品的大数据公司相比，胜在有场景，有需求，成熟度更高。  二、数加平台生态的组成  个人觉得，可以用如下几个层面来描述整个数加生态体系：  1、数加底层技术平台  主要包括：  Maxcompute(原名ODPS)是“数加”底层的计算引擎。有两个维度可以看这个计算引擎的性能，1)6小时处理100PB数据，相当于1亿部高清电影。2)单集群规模过万台，并支持多集群联合计算。  AnalyticDB是实时多维分析引擎，可以实现百亿量级多维查询只需100毫秒。阿里巴巴内部许多面向海量互联网用户的产品的在线大数据查询，很大程度上依靠于AnalyticDB。  流计算(StreamCompute)具有低延时、高性能的特点。每秒查询率可以达到千万级，日均处理万亿条消息、PB量级的数据。  计算引擎之上，“数加”供应了最丰富的云端数据开发套件，开发者可一站式完成数据加工。这些产品包含：数据集成、数据开发、调度系统、数据管理、运维视屏、数据质量、任务监控。  整体来看，大数据开发套件的优势包括：支持100人以上协同设计