Kyligence大数据平台介绍及案例 forHelloBI.pptx

上海跬智信息技术有限公司 Hadoop平台上的 超高性能OLAP解决 Ky ligence 跬 智 议程 背景 技术架构 企业级产品及服务 解决方案 案例介 绍 大数据，大趋势 大数据，大势所趋 互联网，移动互联网，物联网，网网皆是大数据 大数据，仅仅只是刚开始，到2020年将有210亿IoT设备联网-IDC 大数据平台，非Hadoop莫属 Hadoop已经足够成熟成为企业级产品 100%的大型企业都将会采用Hadoop—Forrester 大数据分析及平台复合增长率超过23%－Wikibon 约70%的Hadoop 用户需求是数据仓库/商业智能分析 大中国，大机会 最大的人口，最大的数据量，最大的数据挑战，最大的市场！ 去IoE，中国自主技术的春天 Apache Kylin，应运而 传统数据仓库及BI 价格昂贵，维护成本高 封闭系统，Vendor Lock- 不能处理超大规模数据(百 以上) #1 大数据分析(BDA, Big Data Analytics) 将传统的DW/BI能力迁移到Hadoop上 提供超大规模数据的快速分析能力 支持海量用户的高并发访问 降低大数据实施和使用门槛 Offload Apache Kylin/Kyligence 小众用户 #2 云数据仓库(Cloud Data Warehouse) 在云上提供数据仓库能力 定位精准： 受制于国外供应商 将运维和管理托管给专业厂商 随数据量自动伸缩 最佳开源： 新兴大数据分析需求 天然要求在Hadoop等大数据 平台上，降低成本 客户希望不被云平台Lock-in #3 云分析平台(Cloud Analytics Platform) End to End大数据分析能力 自助式应用，分析师，最终用户直接使用 数据源预先整合 为云而生： 基于开源技术，Freedo 海量数据，远超DW承 onload 中国骄傲： 海量用户，平民化数据 基于云计算分析平台需求旺盛 按需付费 Hadoop Ecosystem 国际领先的大数据分析技 技术优势 顶级项目 在 度 没 ApacheꢀKylin,ꢀ中国第一个Apache顶级开 源项目，核心开发者及贡献者都在中国 ，Kyligence贡献超过90%代码 生态社区 行业认可 活 源 连续两年荣获InfoWorldꢀ”最佳开源大数 据工具奖”，今年更是与Googleꢀ TensorFlow一起获得该奖 某金融机构，6.9亿数据，15年数据，查询Top 用户ꢀSQL查询延迟(越低越好) 用户认可 全球最大的开源软件基金会 国内外超过100多家大型公司正式使用 Kylin作为大数据分析平台解决方案，分 布各个行业 50 37.5 25 与Apache Kylin团队一起合作使Kylin通过孵化成为 顶级项目对我而言非常激动人心，Kylin在技术方 面当然是振奋人心的，但同样令人兴奋的是Kylin 代表了亚洲国家，特别是中国，在开源社区中越 12.5 0 来越高的参与度 —Ted Dunning, Apache 孵化项目副总裁，MapR首席架构师 全球用户，广受好评 eBay: ApacheꢀKylin是目前最好的大数据OLAP引擎，在eBay，我们收集每 一个eBay屏幕上的每一个用户行为。当其他OLAP引擎与大数据量 作斗争时，Kylin仍能保持毫秒级响应。此外，我们也开始使用Kylin 作为近实时数据流的存储和分析引擎。总而言之，Kylin担任了eBay 产品分析平台的关键后台组件。 美团: ApacheꢀKylin以其优秀特性，包括支持百亿行数据集上亚秒级查 询响应时间，高可扩展性，无缝集成大部分BI产品等成为众多分 析技术中最贴合美团数据仓库需求的开源项目，ApacheꢀꢀKylin社 区卓越的支持使得美团数据团队快速响应多产品线的不同需求 成为可能。我们期待ApacheꢀKylin项目再接再厉，更快演进，为 大数据产业贡献更大价值。 京东: ApacheꢀKylin及其海量数据下使用标准SQL进行低延迟查询的特性 ，使京东云海数据开放API平台替换掉原有的传统数据库，解决了 在数据量极具增长的情况下低延迟查询和平滑扩容的挑战，通过对 每天增量超过7亿条的API统计数据的分析，ApacheꢀKylin使得我们 在百亿规模数据集上进行秒级多维分析成为可能。 全球的生产环境用户已经达 企业级产品及服 Kyligence = Kylin + Intelli 每个成功的开源项目背后都离不开专业化团队 ApacheꢀKafka ce 队 Kylin PMC 源代码 业级产品 分析平台 SaaS 运维 服务平台 服务 ü ü ꢀ 产品支持 认证培训 ꢀ 平台实施 架构咨询 企业级产品KAP 现状：Hadoop的生产力未得到 企业通常采用混搭