数据量爆棚难以负荷,Kyligence利用人工智能打造新一代数据分析平台.pdfVIP

数据量爆棚难以负荷，Kyligence 利用人工智 能打造新一代数据分析平台 希望在整个大数据行业里面，有一家专门做底层技术的创业公司能够 在行业内做些突破，做点不一样的事情，这是Kyligence 创立的初衷。 成立Kyligence 之前，韩卿曾任eBay 全球分析基础架构部大数据 产品负责人、Actuate 中国首席顾问等职。 同时，他也是首个来自国内的Apache 软件基金会顶级项目VP ， 首个来自中国的Apache 顶级开源项目，Apache Kylin 的创建者及项目委员会主席(PMC Chair)，负责Kylin 的战略规 划、发展路线图及产品设计等，并致力于发展 Apache Kylin 全球社区，构建生态系统及推广等。 （Kyligence 创始人韩卿） 凭借着在大数据、数据仓库、商业智能、数据分析等领域拥有丰 富的经验，韩卿发现Kylin项目在商业领域的需求非常大，有着很多 外部需求，这些需求远远超过他们当时团队的工作职责。 另一方面，成功的开源项目背后都有一个好的创业公司，只有这 样才可以更健康地发展社区，更好地促进生态建设，让更多客户去使 用开源项目。 “我们希望在整个大数据行业里面，有一家专门做底层技术的创 业公司能够在行业内做些突破，做点不一样的事情。这些是我们创立 Kyligence的初衷。” 于是韩卿带领 Kylin 核心团队，于 2016 年 3 月在上海成立了 Kyligence公司。Kyligence是一家专注大数据分析的创新型公司，可 以为企业提供基于Apache Kylin 的下一代企业级数据仓库及商务智 能大数据分析平台和解决方案。 数据量爆棚的时代 传统数据仓库需要变革 韩卿告诉i 黑马＆数字观察，1990年前后，数据仓库技术理论被 提出，这个理论认为应该把企业各个分散的业务数据整合起来，构建 一个统一的数据仓库，为企业分析和应用分析提供一个统一的平台， 企业能够在这个平台上构建整个分析应用。 目前，这项技术已经变成了绝大部分行业客户的基础技术，像金 融、运营商、零售等行业的业务分析都已经构建在这样的基础技术之 上了。以金融行业为例，银行要进行各种各样的分析，尤其是风控分 析，都需要建立在对不同业务模块数据的统一分析之上。 不过，2006年后开始，云计算的蓬勃发展，各个领域的企业都纷 纷开始上云，由此很多的数据不断地大量涌现，这时候企业如果在云 上建一个分析仓库，就要面临各种挑战。 首先，数据体量变得越来越大，呈现越来越多样性和复杂性的特 质。但传统的数据仓库与应用系统是分开的，用户做分析做工程时， 基本上是从每块业务数据那里直接把数据拿过来进行分析就行了。这 样操作的问题在于，要把这么多不同的业务数据整合到一起是一个巨 大的挑战。 其次，存储的成本和性能上，原有的数据仓库技术已经不能满足 企业快速增长的业务需求。“传统的建模方式，是需要通过漫长的数 据转换过程，把转换后的数据放到数据仓库里，最后基于这样的仓库， 企业还要建非常多的分析模型、报表、预测，通常这样的项目要耗费 大量人力，花费好几个月的时间，甚至是用年来计算的。” 第三，虽然业界推出了依靠更加专业的数据科学家来解决问题的 解决方案，但本质上还是在依赖大量的人工进行工作，如果没有革新 性的变化的话，人力是不会被解放出来的，那这个行业也不会发生根 本性的改变。 “未来的数据分析也应该是融合的，不需要关心这个数据的来源， 而将更多的精力放在关注数据所带来的业务决策上，这就是 Kyligence 正在不断优化和创新的融合、智能数据仓库。” （15 倍性能提升的同时节省50%空间） Kyligence 做的事情是基于Apache Kylin，为企业客户提供下一代 企业级数据仓库及商务智能大数据分析平台和解决方案，从私有部署 到云计算平台，都能使用户在超大规模数据集上获得极速的洞察能 力，以释放数据价值，驱动业务增长。 -2 - 打造企业级大数据分析平台 i 黑马＆数字观察了解到，Kyligence 的核心产品是基于Apache Kylin 的企业级智能大数据分析产品Kyligence Enterprise 。这是一个基于Hadoop 的企业级智能大数据分析平台，可 以为业务分析师、数据科学家和IT 工程师提供融合的、智能的分析平台。 简单来说，Kyligence Enterpri