阿里--实时数仓 技术入门一本通.pdfVIP

Hologres用户交流群 Hologres官网 Hologres开发者社区技术圈 阿里云开发者 “藏经阁” 海量免费电子书下载 目录 Hologre产品介绍与技术揭秘 4 快速上手Hologres 16 Hologres+Flink实时数仓详解 26 MaxCompute+Hologres数据仓库详解 33 开源OLAP升级Hologres详解 46 Hologre产品介绍与技术揭秘 4 Hologre产品介绍与技术揭秘 概要：近年来，随着数据实时化的诉求加剧，催生了一系列的实时数仓架构，Lambda架 构也应运而生，但是随着场景的复杂度和业务多维需求，Lambda架构的痛点也越来越明 显。HSAP的理念则是服务分析一体化，在本文中，来自阿里巴巴的资深技术专家将会深 度剖析HSAP技术实现Hologres的设计原理，解读其产品典型场景。 作者 | 仙隐 （金晓军）阿里巴巴资深技术专家 一、传统数据仓库 目前来说，大数据相关的业务场景一般有实时大屏、实时BI报表、用户画像和监控预 警，如下图所示。  实时大屏业务，一般用在公司领导做决策的辅助工具，在对外展示，比如实时成交额等 场景也会经常用到，是一种展示公司实力的方式。  实时BI报表是运营和产品经理经常用到的一个业务。  用户画像常用在广告推荐场景中，通过更详细的算法给用户贴上标签，使得推荐算法更 加有针对性，更加有效。  预警监控，比如对网站、APP进行流量监控，在达到一定阈值的时候可以进行报警。 5 Hologre产品介绍与技术揭秘 对于上面这些大数据业务场景，在很早之前业界就开始通过数据仓库的建设来满足这些 场景的需求，比较传统的是如下图所示的离线数据仓库，其大致流程就是：首先，将各类数 据收集起来；然后经过ETL处理，再经过层层建模对数据进行聚合、筛选等处理；最后在 需要的时候通过应用层的工具对数据进行展现，或者生成报表。 上面这种方式虽然可以对接多种数据源，但是存在一些很明显的痛点：  ETL逻辑复杂，存储、时间成本过高；  数据处理链路非常长；  无法支持实时/近实时的数据，只能处理T+1的数据。 二、Lambda架构 随着实时计算技术的兴起，出现了Lambda架构。Lambda架构的原理如下图所示， 其思路其实是相当于在传统离线数仓的基础上再加上一个处理实时数据的层，然后将离线数 仓和实时链路产生的数据在Serving层进行Merge，以此来对离线产生的数据和实时产生 的数据进行查询。 从2011年至今，Lambda架构被多数互联网公司所采纳，也确实解决了一些问题，但 是随着数据量的增大、应用复杂度的提升，其问题也逐渐凸显，主要有： Hologre产品介绍与技术揭秘 6  由多种引擎和系统组合而成，开发和维护成本高，学习成本高；  数据在不同的View 中存储多份，空间浪费，数据一致性的问题难以解决；  从使用上来说，Batch，Streaming以及Merge Query等处理过程中均使用不同的 language，使用起来并不容易；  学习成本非常高，增大了应用成本。 下图是阿里巴巴在2011年到2016年间沉淀下来的一套实时数仓架构，其本质上也是 Lambda架构，然而随