主持人陈亮讲得非常精彩,下面系ApacheKylin,是以华.docxVIP

主持人：陈亮讲得非常精彩，下面系Apache Kylin，是以华人为主的项目团队，在基金会能够立足的。本土的公司第一个推到世界顶级基金会，他们在前面杀开一条血路，非常钦佩，他们的经验都值得大家学习。下来是史少锋，是Kyligence技术合伙人，高级架构师，之前在EBay、IBM工作多年。史少锋：陈亮的分享非常精彩，详细介绍了Apache Way，我今天主要介绍一下Apache Kylin一路走过来的心路历程。那时候我们项目还没有毕业，随后没过多久就毕业了，现在我们是Apache的顶级项目。首先我做一个调查，在座有多少听说过Apache Kylin呢？大概有三分之一的人。今天的介绍大概分这么几个部分，第一是Apache Kylin简介。国内有很多Kylin项目，我们这个项目全名要加上Apache Kylin。第二，架构与核心，和其他大数据项目有什么不同。第三是重点，叙述一下开源之路。第四是总结。我是2014年加入Kylin项目，从开始给Kylin贡献代码，现在我主要负责社区，在社区上跟用户、外面一些人一起完善改进Kylin，也做了很多版本的发布。包括Kylin的文档，也主要是我在做。Kylin这个项目诞生于eBay，当初开源出去它是第一个由华人主导贡献的项目，当时很多人还以为是eBay在美国的华为做的，其实不是，它是完完全全由eBay在上海的开发人员所开发、贡献出来的项目。它可以说是比较早加入到Kylin作为国内的公司，当然国内进入Apache的项目比较多，有WeeX、CarbonData等等。eBay在后来上海团队贡献了一些项目。八Kylin是在大数据生态领域的一个项目，它解决的是在海量数据查询难的难题。之所以诞生在eBay，因为eBay拥有海量数据，它有迫切的分析需求。曾经eBay是Kruibata（音）它提供非常快的硬件和软件，它的设备非常昂贵，eBay是Kruibata的最大用户，每年eBay付给Kruibata的钱是非常昂贵的。eBay的CEO、CTO经常被Kruibata邀请参加他们的年会，因为eBay给他们付了很多钱。但是eBay认为自己是一家技术性公司，为什么我们不能来自己自研一些技术，来取代Kruibata呢？就算Kruibata不取代，也能够降低Kruibata一些对的使用。所以这是非常难的问题，当时在eBay有很多争论，最后由上海的韩欣（音）带领团队最后做下来，最后以中国人的神兽冠名，因为Apache的生态都是一个个动物，我们就找了一个中国的动物，就是麒麟。Kylin现在国内主要大的互联网上上基本上都在用，而且在往制造业、金融业渗透，因为Kylin容易用。包括像手机厂商，OPPO、VIVO、小米都开始来用。什么是Kylin呢？Kylin的定位是什么呢？这张图非常清晰地显示了它在大数据生态的结构。它下面调用的是Hadoop分布式其能力，对上使用的接口是标准的SQL。它集成了像Hadoop主流的技术，像HDFS、Hive等等。如果再用一些具体地说，在Hadoop上做SQL查询的引擎有很多，比如说Hive本身就可以查询，这都是可以做server的查询。Kylin的引擎跟他们有什么区别，为什么你可以号称这么快呢？我们会说Kylin是唯一在Hadoop做预计算的引擎，其他技术都不是做预计算，他们主要的核心技术是MBB。就是通过一定的索引，通过集群的并发，把你的任务转换成线算，给到你结果。我们认为当数据量达到一定程度的时候现算是来不及或者现算是有瓶颈的，所以我们借鉴了传统的预计算的技术把它移植到了Hadoop上。这是Kylin与其SQL引擎的本质区别。下面是Kylin的两个特性。第一，超高性。号称可以万亿数据上达到亚秒级的数据，典型的是今日头条，它典型的一个cube里面有3万亿条的数据，但是它90%的查询能够在1秒以内完成。第二，高并发一旦性能能上去以后，并发也就可以大家提高。麒麟的另一大优势就是高并发。我们发现国内互联网公司把Kylin用在高并发的查询上，比如京东用在对外的数据接口上。比如美团，每日有130万次查询，它的数据是800亿，99%的查询在1秒内。当然美团的技术能力是比较强的，我们团队也有三个来自美团的人，他们对Kylin技术进行了深入的研究，给了我们一些反馈。下面是Kylin的架构。Kylin的设计非常巧妙，它没有做别人已经做的东西，而且把一些事实的标准进行了组装组合，充分地发挥它们的优势。左边是Kylin支持的数据源，我们主要支持的数据源一个是批数据源，来自于Hiav。这样可以把海量的数据抽取出来，接下来预计算怎么做呢？我们生成Spark，Spark引擎是在Kylin2.0引进的。会并发对你的数据，根据建立的模型做预先的计算处理、编码等等。最后计算好的数据，我们会转换。HKS（音）又是哈Hadoo