最强数仓建设保姆级教程.pdf

数仓建设保姆级教程 离线和实时一网打尽(理论+实战) V2.0 1/ 119 目录 本文涉及知识点如下图所示：4 一、数仓基本概念 5 1.数据仓库架构 5 2.数据仓库概念 5 3.为什么要有数据仓库 8 4.数据仓库与数据库的区别 8 5.数据仓库分层架构 9 6.主要数据仓库架构 11 7.数据仓库元数据的管理 14 8.数仓常见术语解析 15 1.数仓名词解释 16 2.数仓名词之间关系 20 二、离线数仓建设核心 22 1.数仓分层 23 2.数仓建模方法 25 3.维度建模详解 28 1.维度建模中表的类型 28 2.维度建模三种模式 33 3.维度建模过程 35 三、离线数仓建设实战 37 1.业务介绍 37 2.早期规划 37 3.数据中台 38 4.数仓建设 41 5.数据层具体实现 43 6.总结 46 7.实际生产中注意事项47 四、实时计算 47 1.实时计算应用场景 48 2.实时计算总览 49 3.实时架构 52 4.实时数仓解决方案 55 五、实时数仓建设核心 57 1.实时计算初期 57 2.实时数仓建设 58 3.Lambda架构的实时数仓 60 4.Kappa架构的实时数仓 61 5.流批结合的实时数仓 62 六、基于Flink SQL从0到1构建一个实时数仓62 1.案例简介 63 2/ 119 2.架构设计 63 3.业务数据准备 63 4.数据处理流程 66 5.FineBI展示 86 七、数据治理 86 1.数据治理之道是什么 87 2.浅谈数据治理方式 88 猜你喜欢： 95 八、数据质量建设 95 1.为什么要进行数据质量评估96 2.数据质量衡量标准 96 3.数据质量管理流程 98 4.最后 105 九、数仓规范建设指南 105 1.数仓公共开发规范 105 2.数仓各层开发规范 111 3.数仓命名规范 115 参考文档： 119 最后: 119 3/ 119 本文涉及知识点如下图所示： 4/ 119 一、数仓基本概念 1.数据仓库架构 我们在谈数仓之前，为了让大家有直观的认识，先来谈数仓架构，“架构”是什 么？这个问题从来就没有一个准确的答案。这里我们引用一段话：在软件行业， 一种被普遍接受的架构定义是指系统的一个或多个结构。结构中包括软件的构建 （构建是指软件的设计与实现），构建的外部可以看到属性以及它们之间的相互 关系。 这里参考此定义，把数据仓库架构理解成构成数据仓库的组件及其之间的关系，画 出下面的数仓架构图： 数仓架构 上图中显示的整个数据仓库环境包括操作型系统和数据仓库系统两大部分。操作 型系统的数据由各种形式的业务数据组成，这些数据经过抽取、转换和装载（ETL） 过程进入数据仓库系统。 任何事物都是随着时间的演进变得越来越完善，当然也是越来越复杂，数仓也不 例外。在数据仓库技术演化过程中，产生了几