99应急数据交付总体实施规范_V2.0.docx

PAGE6

应急数据交付总体实施规范

版本

说明

作者

时间

V1.0

初始版本

宫十

2019/9/24

V1.1

修正版本，根据现在逻辑方案，修改部分规范，如5.3ETL错误数据处理规范

典韦

2020/2/25

V1.2

增加章节5.2.5—5.2.10

典韦

2020/2/27

V1.3

合稿，增加章节6、7.1、7.2、7.4、9、10、11

典韦

2020/3/2

V1.4

修改文档中涉及引用文档的名称

典韦

2020/3/4

V1.5

根据评审报告V0.1进行修改

典韦、昆仑、路远、永义、铁手

2020/3/10

V1.6

更新信息资源摘要的格式规范

典韦

2020/3/23

V1.7

增加章节11.4样例数据发布规范

典韦

2020/7/31

V2.0

依据应急最新交付情况对总体实时规范做了较大调整，同时新增数据接入调研、数据清洗等分册

祝童

2022/1/10

目录

TOC\o1-3\h\z\u1 范围 6

2 术语、定义和缩略语 6

3 总则 6

3.1 目标 6

3.2 原则 6

3.3 架构 7

4 数据治理项目交付流程 9

5 数据资源池数据对象命名规范 11

5.1 数据资源池数据模型层次 11

5.2 数据表命名规范 13

5.3 数据类目规范 16

5.4 节点、工作流命名规范 18

5.5 分区字段命名及取值规范 19

5.6 任务调度规范 19

6 数据调研规范 20

6.1 数据调研工作流程 20

6.2 调研规划 20

6.3 调研准备 21

6.4 调研启动会 23

6.5 基础及详细数据调研 24

6.6 调研数据梳理 24

6.7 调研报告的编制与确认 25

6.8 关键经验总结 25

7 原始库建设规范 26

7.1 数据接入工作流程 26

7.2 原始库数据处理规范 28

7.3 产品关键操作说明 29

7.4 关键经验总结 30

8 资源库建设规范 30

8.1 增量表处理规范 31

8.2 全量表处理规范 32

8.3 ETL错误数据处理规范 34

8.4 非枚举类数据元清洗规范 34

8.5 枚举类数据元处理规范 35

8.6 资源库建设模板 35

9 主题库建设规范 35

9.1 主题库建设概括 35

9.2 主题库建设工作流程 37

9.3 交付物模板 38

9.4 应急行业主题模型 42

9.5 关键经验总结 45

10 专题库建设规范（以危化品专题为例） 45

10.1 专题库建设工作流程 45

10.2 交付物模板 54

10.3 关键经验总结 58

11 数据服务发布规范 59

11.1 数据服务发布工作流程 59

11.2 交付物模板 59

11.3 应急数据服务发布规范 60

11.4 产品关键操作说明 64

11.5 关键经验总结 64

12 数据开发规范 65

12.1 统一维度 65

12.2 统一数据格式 65

12.3 重复数据处理 66

13 SQL开发规范 66

13.1 SQL编码原则 66

13.2 代码头部说明规范 67

13.3 字段排列规范 67

13.4 SELECT字句排列规范 68

13.5 运算符格式规范 68

13.6 CASE语句格式规范 69

13.7 查询嵌套编写规范 69

13.8 表别名定义规范 70

13.9 注释规范 70

范围

本文档规定了应急数据交付项目实施规范，供数据服务开发维护人员使用。包括了数据架构、数据治理流程、数据资源池命名规范、数据处理规范等。

术语、定义和缩略语

符号与缩略语

总则

目标

为规范应急数据交付项目的实施过程，降低开发难度，保障开发质量，保证各数据项目内容的一致性，协同性。

原则

统一性：为了保持开发人员的开发风格，使得各类命名，各类规则，各类数据格式，开发过程阶段，问题处理方式等保持统一，本开发规范的编制符合“统一性”原则。

明确性：为了保证开发内容的可理解，易运维。需要开发过程符合“明确性”的原则，命名明确，代码明确，规则明确，处理流程明确，各类分层明确等是需要持续关注的内容。

可扩展性：为了保障后续开发在各个维度的易扩展能力，需要遵循“可扩展性”原则，要求在模型设计，字段设计，代码设计等阶段关注此原则。

架构

数据架构图

原始库分为操作数据层ODS（Opera