99-南宁数据中台 数据仓库建设指南 v0.5.docx

PAGE7

PAGE6

ICS编号

CCS编号

南宁市数据中台技术标准

数据仓库建设指南

Datawarehouseconstructionguide

（征求意见稿）

FORMTEXT2021-FORMTEXTxx-FORMTEXTxx发布

FORMTEXT2021-FORMTEXTxx-FORMTEXTxx实施

DB

DB4501/Txxxx-2021

南宁市大数据局发布

南宁市大数据局发布

目次

TOC\o1-3\h\z\u24069前言 4

28794引言 5

28575数据仓库建设指南 6

128821范围 6

160692规范性引用文件 6

74093术语和定义 6

129954缩略语 7

92775综述 7

219225.1目的 7

139965.2原则 7

245265.3数据架构 8

153185.4主题域划分 8

114975.5全量/增量选择原则 9

265885.6分区选取原则 9

295485.7任务调度 9

99056命名规范 10

106116.1模型层命名 10

123306.2数据表命名 11

152606.3节点命名 14

143006.4工作流命名 14

10437开发规范 15

214987.1统一数据格式 15

82767.2统一数据维度 16

148557.3处理重复数据 16

61107.4SQL开发规范 16

184257.5数据接口规范 17

152237.6数据安全规范 17

295687.7数据备份规范 17

31242附录A 18

26605参考文献 20

前言

本标准按GB/T1.1-2020《标准化工作导则第1部分：标准化文件的结构和起草规则》给出的规则起草。

请注意：本文件的某些内容可能涉及专利，本文件的发布机构不承担识别这些专利的责任。

本标准由广西壮族自治区南宁市大数据发展局提出并归口。

本标准起草单位：南宁市信息网络管理中心、杭州数梦工场科技有限公司、煜象科技（杭州）有限公司。

本标准主要起草人：xxx、xxx、谭波、邵昶游、吕皖如、沈岭、王吉、刘拓、王俊、汪涛。

引言

本标准的制定旨在推进南宁市数据中台的开发工作，为南宁市数据中台的数据开发和服务工作提供指导和依据。

数据仓库建设指南

范围

本标准规定了南宁市数据中台的数据仓库建设的工作指南。

本标准适用于南宁市数据中台的数据仓库建设。

规范性引用文件

下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。

GB/T5271.1-2000信息技术词汇第1部份：基本术语

术语和定义

下列术语和定义适用于本标准。

数据data

信息的可再解释的形式化表示，以适用于通信、解释或处理。

注：可以通过人工或字段手段处理数据。

[GB/T5271.1-2000，定义01.01.02]

数据仓库datawarehouse

数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。

贴源层operationaldatastore

数据准备区，与数据源的数据同构，是数据仓库层加工数据的来源，主要目的是简化后续数据加工处理的工作。

标准层standarddata

贴源层的数据进行清洗、转化后的数据，为后续数据加工提供标准数据。

明细层datawarehousedetail

保存通过标准层标准化之后的所有历史数据，为后续数据加工提供统一的、标准的数据视图。

汇聚层datawarehousesummary

按主题对明细层数据进行综合、归类。

集市层datamart

在汇聚层的基础上，满足特定的部门或者用户的需求，按照多维的方式进行存储，包括定义维度、需要计算的指标、维度的层次等，生成的面向决策分析需求的数据立方（一个全局数据表与其多个重要字段的索引组成的一个类似于立方体的数据组织结构）。

缩略语

下列缩略语适用于本文件。

ODS：贴源层（OperationalDataStore）。

STD：标准层（STandardData）。

DWD：明细层（DataWarehouseDetail）。

DWS：汇聚层（DataWareh