七牛云大数据平台建设实践.docxVIP

七牛云大数据平台建设实践 我们都说现在是移动互联网时代，移动互联网时代我们随时随地能够上网，面对连接的革命诞生了很多有意思的应用，包括滴滴打车、外卖，这些都是在连接的时效性基础上做的应用。在有关于连接的革命以后，下一个阶段就是面对智能的革命。滴滴打车这样的场景将来会越来越智能,当然百度外卖号称现在在怎样送外卖这个事情上已经有一些智能，但这些只是开头。每一个应用会沉淀越来越多的数据，它成为这些数据独一的 Owner。大家应当意识到一点，围围着数据的深度应用让 App 变得智能，这件事有格外大的空间，无论你在什么领域。在我看来，这个智能不是云计算厂商或者大厂玩智能，将来全部的 App 都会玩智能。 在十年前，大家听到「云计算」，大部分人觉得是不靠谱的，全球第一个云服务也就是 AWS 对象存储，07 年刚刚发布，国内没有人晓得，那时候的「云计算」概念虽然已经产生了，但是大家对云计算的认知格外不清楚。当时很多人会把它和网格计算的概念关联起来，而网格计算的概念昙花一现，最终消逝了，大家认为云计算是新瓶装旧酒，是网格计算。但在今日看来，云计算本质上是一个 IT 的革命，把 IT 的交付方式由软件变成了服务，这是一个格外巨大的变革。这个变革背后的推动力其实是与移动互联网的衰亡有关的。移动互联网的衰亡意味着大量新兴机会的涌现，大家舍命地都要跑得更快。这些新兴的公司选择合作伙伴更期望是服务的合作伙伴，而不是软件合作伙伴。软件外包失败的概率是很大的，但是云计算处理了底层基础的 IT 技术外包成功率的问题，这也是云计算衰亡的根源。 今日我们听到很多公司谈智能，忽悠的成分可能多于实际。而大部分公司认为智能跟本人没有关系，但是我认为接下来十年智能是格外重要的事情。 智能为什么会衰亡？大部分的公司接下来十年都会开头充分利用互联网这个生产力工具，把他们的业务从线下搬上了线上，这意味着他和客户的连接其实是越来越数字化的。所谓的数字化，是指全部的沟通过程都会被记录，这种被记录的过程其实是很可怕的，由于你对用户史无前例地了解。但是假如让这些数据躺在你的计算机里或者删掉，意味着你相比以前纯粹地把业务跑在线下没有本质的进步。将来各行各业的竞争肯定是面对数据的竞争，数据累计得越多，你对用户越了解，你对用户行为的挖掘，通过智能的提取，你会让 App 越来越具有独特性。前面李玥引见了 Linkedin 如何使用数据，那是格外好的一个案例。Linkedin 本质上来讲是一个猎头公司，虽然它比很多大家认知的猎头公司要牛多了。但在本质上来讲，它是颠覆猎头行业的，新的猎头和老的猎头效率差距无比巨大。Linkedin 仅数据产品相关的团队就有 150 人，这是很恐怖的数字，可以看出硅谷公司是怎样的注重数据。 企业面临的挑战 观念带来的挑战。我们作为一个云计算厂商来看，多数公司的数据都不情愿存，认为数据是负担、是成本。但是在将来十年面对智能的时候，你应当认为数据是资本、是财产。这个观念的转念是格外巨大的。中国公司数据仓库存数十 PB，会觉得每个月要花掉好多钱。多数公司认为数据是成本，这是观念的挑战，可能也是将来最大的挑战。 数据产生价值链条长。不晓得数据怎样用，或者没有支撑的数据平台。对于很多公司来说，把数据变成数据产品的链条是格外长的。整个数据从埋点、采集、分析、构成一系列产品，整个链条涉及的部门和工种格外多。涉及到业务部门、数据平台部门、数据分析与数据产品部门，而后又回到业务部门作用到线上，这个周期格外长。这打算了要让数据产生价值很困难。 多元化的场景。不同的公司业务场景不同，导致我们的数据产品很难用统一的模式产生。这与七牛的非结构化数据相比格外明显。七牛的数据是图片、音频、视频，围绕这些富媒体为存储的核心对象来构建场景，它的应用场景格外集中。格外集中就是说可猜测性情外强，虽然我未必晓得你的 App 是做什么的，但是我很清楚你的图片是用来做什么、你的视频用来做什么，业务场景比较简约清楚地呈现。但是大数据产品的业务场景格外是多元化的，不同的数据产品，面对的场景很不一样。 七牛大数据平台 - Pandora Pandora 是什么 Pandora 是一套数据采集、存储和分析为一体的 PaaS 平台，围围着富媒体的业务场景构建，用户的各种业务场景我们都能够直接找到对应的处理方案。我们对 Pandora 的定位是期望它是一站式的数据处理服务，能够开放性地为七牛的客户处理他期望的大数据相关的业务场景。 Pandora 有什么 图 1 如图 1 所示，第一部分是 Pipeline，其他部分是围绕 Pipeline 协同的。另外，有很多和 Pipeline 相连的部分，包括前面演讲引见的 Kylin 也可以是其中之一。我们现在内建支持的东西包括七牛本人的时序数据库 TSDB、日志搜索引擎 L