尚硅谷大数据技术之数仓开发规范.pdfVIP

1.背景 1.背景 为了避免底层业务变动对上层需求影响过大，屏蔽底层复杂的业务逻辑，尽可能简单、 为了避免底层业务变动对上层需求影响过大，屏蔽底层复杂的业务逻辑，尽可能简单、 完整的在接口层呈现业务数据，建设高内聚松耦合的数据组织，使数据从业务角度可分割， 完整的在接口层呈现业务数据，建设高内聚松耦合的数据组织，使数据从业务角度可分割， 显得尤为重要。从整个集团业务条线出发，形成数据仓库总体概念框架，并对整个系统所需 显得尤为重要。从整个集团业务条线出发，形成数据仓库总体概念框架，并对整个系统所需 要的功能模块进行划分，明确各模块技术细节，建设一套完整的开发规范。 要的功能模块进行划分，明确各模块技术细节，建设一套完整的开发规范。 2.分层规范 2.分层规范 ODS （原始数据层）：ODS 层是数据仓库准备区，为 DWD 层提供基础原始数据。 ODS （原始数据层）：ODS 层是数据仓库准备区，为 DWD 层提供基础原始数据。 DWD （明细数据层）：和 ODS 粒度一致的明细数据，对数据进行去重，脏数据过滤， DWD （明细数据层）：和 ODS 粒度一致的明细数据，对数据进行去重，脏数据过滤， 空处理，保证数据质量。 空处理，保证数据质量。 DWS （服务数据层）：轻度汇总数据及建宽表 (按主题)存放数据。 DWS （服务数据层）：轻度汇总数据及建宽表 (按主题)存放数据。 ADS （应用数据层）：存放应用类表数据。 ADS （应用数据层）：存放应用类表数据。 3.表规范 3.表规范 3.1 命名 3.1 命名 维表 命名形式：dim_描述 维表 命名形式：dim_描述 事实表 命名形式：fact_描述_ [AB] 事实表 命名形式：fact_描述_ [AB] 临时表 命名形式：tmp_ 正式表名_ [C 自定义序号] 临时表 命名形式：tmp_ 正式表名_ [C 自定义序号] 宽表 命名形式：dws_主题_描述_ [AB] 宽表 命名形式：dws_主题_描述_ [AB] 备份表 命名形式：正式表名_bak_yyyymmdd 备份表 命名形式：正式表名_bak_yyyymmdd 表命名解释： 表命名解释： 1）表名使用英文小写字母，单词之间用下划线分开，长度不超过 40 个字符，命名一般 1）表名使用英文小写字母，单词之间用下划线分开，长度不超过 40 个字符，命名一般 控制在小于等于 6 级。 控制在小于等于 6 级。 2）其中ABC 第一位A时间粒度：使用c代表当前数据，h代表小时数据，d代表天 2）其中ABC 第一位A时间粒度：使用c代表当前数据，h代表小时数据，d代表天 数据，w代表周数据，m代表月数据，q代表季度数据， y代表年数据。 数据，w代表周数据，m代表月数据，q代表季度数据， y代表年数据。 3）其中ABC 的第二位B表示对象属性，用t表示表，用v表示视图。 3）其中ABC 的第二位B表示对象属性，用t表示表，用v表示视图。 4）其中ABC 的第三位C自定义序号用于标识多个临时表的跑数顺序。 4）其中ABC 的第三位C自定义序号用于标识多个临时表的跑数顺序。 3.2 注释 3.2 注释 注释要结合表的英文名，要求注释简洁明了，体现出表的业务出处、主题和用途。 注释要结合表的英文名，要求注释简洁明了，体现出表的业务出处、主题和用途。 3.3 存储格式 3.3 存储格式 所谓的存储格式就是在Hive建表的时候指定的将表中的数据按照什么样子的存储方式， 所谓的存储格式就是在Hive建表的时候指定的将表中的数据按照什么样子的存储方式， 如果指定了方式，那么在向表中插入数据的时候，将会使用该方式向HDFS 中添加相应的数据 如果指定了方式，那么在向表中插入数据的时候，将会使用该方式向HDFS 中添加相应的数据 类型。在数仓中建表默认用的都是 PARQUET 存储格式，相关语句如下所示： 类型。在数仓中建表默认用的都是 PARQUET 存储格式，相关语句如下所示： STORED AS INPUTFORMAT STORED AS I