实时数仓案例集合.pdfVIP

实时数仓案例集合

目录

实时数仓案例集合1

1.滴滴顺风车实时数仓案例3

2,快手实时数仓场景化案例10

3.有赞实时数仓案例39

4.腾讯全场景实时数仓建设案例47

1.实时需求日趋迫切

目前各大公司的产品需求和内部决策对于数据实时性的要求越来越迫

切，需要实时数仓的挑赋。传统离线数仓的数据时效性是T+1,

调度频率以天为单位，无去支掌实时场景的数据需求。即使将调度频

率设置成〃时，也只解决部分时效性要求不高的场景，对于实效性要

求很高的场景还是无去优雅的支学。因此实时使用数据的问题必须得

到有效解决。

2.实时技术日趋成熟

实时计算框架已经经历了三代发展，分别是：Storm、SparkStreaming、

Flink,计算框架越来越成熟。

七湎实时任务的开发已经通过编写SQL的方式来完成，在技术层面

很好地继承离线数仓的架构设计思想；

另在线数据开发平台所提供的功对实时任务开发、调试、

运维的支寺也日斩趋于成熟，开发成本逐步降低，有助于去做这件事。

二、实时数仓建设目的

1.解决传统数仓的问题

从目前数仓建设的现状来看，实时数仓是一容易让人出生混淆的概念，

根据传统经验分析，数仓有一个重要的功，即够记录历史。通常，

数仓都是希望从业务上线的第卡开始有数据，然后一直记录到现在。

但实时流处理技术，又是强调当前处理状态的一个技术，结合当前F

大n勺建设经验和滴滴在该领域的建设现状，我们尝试把公司内实时数

仓建设的目的定位为，以数仓建设理论和实时技术，解决由于当前离

线数仓数据时效性低解决不了的问题。

现阶段我们要建设实时数仓的主要原因是：

公司业务对于数据的实时性越来越迫切，需要有实时数据来辅助完成

决策；

实时数据建设没有规范，数据可用性较差，比去形成数仓体系，资源大

量浪费；

数据平台工具对整体实时开发的支寺也日斩趋于成熟，开发成本降低。

2.实时数仓的应用场景

实时OLAP分析；

实时数据看板；

实时业务监控；

实时数据接口1务。

三、实时数仓建设方案

接下来我们分析下目前实时数仓建设比较好的几1、案例，希望这些案例

够给掇带来一启发。

1.滴滴顺风车实时数仓案例

滴滴数据团队建设的实时数仓，基本满足了顺风车业务方在实时侧付各

类业务需求，初步建立起顺风车实时数仓，完成了整体数据分层，

含明细数据和汇总数据，统一了DWD层，降低了趣据资源消耗，提

高了数据

复用性，可对外输出丰富的数据服务。

数仓具体架构如下图所示:

从数据架构图来看，顺风车实时数仓和对应的离线数仓有很多类似的地

方。例如分层结构；比如ODS层，明细层，汇总层，乃至应用

层，他们命名的模式可能都是畤的。但仔细比较不难发现，两者有很

多区别：

与离线数仓相比，实时数仓的层次更少T

从目前建设离线数仓的经验来看•，数仓的数据明细层内容会非常丰富,

处理明细数据外T发还会含轻度汇总层的