基于OneData的数据仓库建设方案.pdf

基于 OneData 的数据仓库建设方案 本文目录： 一、指导思想 二、数据调研 三、架构设计 四、指标体系搭建 五、模型设计 六、维度设计 七、事实表设计 八、其他规范 OneData 是阿里巴巴内部进行数据整合和管理方法体系和工具。 一、指导思想 首先，要进行充分的业务调研和需求分析。 其次，进行数据总体架构设计，主要是根据数据域对数据进行划分； 按照维度建模理论，构建总线矩阵，抽象出业务过程和维度。 再次，对报表需求进行抽象整理出相关指标体系，使用 OneData 工具 完成指标规范定义和模型设计。最后，是代码研发和运维。 其实施流程主要分为：数据调研、架构设计、规范定义和模型设计。 二、数据调研 1. 业务调研 需要确认要规划进数仓的业务领域，以及各业务领域包含的功能模块， 以阿里的业务为例，可规划如下矩阵： 2. 需求调研 了解需求方关系哪些指标？需要哪些维度、度量？数据是否沉淀到汇 总层等到。 三、架构设计 1. 数据域的划分 数据域是将业务过程或者维度进行抽象的集合，一般数据域和应用系 统(功能模块)有联系，可以考虑将同一个功能模块系统的业务过程划分到一 个数据域： 2. 构建总线矩阵 在进行充分的业务调研和需求调研后，就要构建总线矩阵了，需要做 两件事情： 1. 明确每个数据域下有哪些业务过程。 2. 业务过程与哪些维度相关，并通过总线矩阵定义每个数据域下的业务 过程和维度： 四、指标体系搭建 1. 基本概念 数据域：指面向业务分析，将业务过程或者维度进行抽象的集合。 业务过程：指企业的业务活动中的事件。 时间周期：用来明确数据统计的事件范围或者时间点，如近 30 天、截 至当前。 修饰类型：对修饰词的一种抽象划分。 修饰词：指除统计维度外指标的业务场景限定抽象。抽象词隶属于一 种抽象类型，如访问终端类型下的 pc、安卓、苹果。 度量/原子指标：具有明确含义的业务名词。如：支付金额。 维度：维度是度量的环境，用来反应业务的一类属性，这类属性的集 合称为一个维度，也可以称为实体对象，如地理维度、时间维度。 维度属性：对维度的描述，隶属于一个维度。如：地理维度下的国家、 省份。 派生指标：原子指标+多个修饰词(可选)+时间周期。 明确原子指标、修饰词、时间周期和派生指标的定义。 2. 操作细则 派生指标来源于三类指标：事务型指标、存量型指标和复合型指标。 事务型指标：指对业务活动进行衡量的指标。 存量型指标：指对实体对象某些状态的统计。 复合型指标，在上述两种指标基础上复合而成的。 五、模型设计 1. 数据分层 业界对数仓分层的看法大同小异，大体上认为分为接入层、中间层和 应用层三层，不过对中间层的理解有些差异。 2. 接入层(ods) 业务数据一般是采用 dataX 或者 sqoop 等以固定频率同步到数仓中构 建 ODS 层； 如果是日志数据则通过flume 或者 Kafka 等同步到数仓中。 接入层一般不会对源数据做任何处理、清洗，便于之后回溯。 3. 明细层(dwd) 理论上明细层数据是对 ods 层数据进行清洗加工，提高 ods 层数据的 可用性，对于 dwd 层数据是否同层引用的观点需要权衡： 1. 一般情况下 dwd 层不建议同层引用，这样做可以减少明细层任务之 间的依赖，减少节点深度。 2. 但是在某些场景下，ods 层到 dwd 层数据加工逻辑复杂，计算开销 大，这时可以权衡考虑适当 复用 dwd 表来构建新 的dwd 表 。 4. 汇总层(dws) 这一层依赖我们 的指标体系 ，将 dwd 层的数据按照各个维度进行聚合 计算。 5.