工信厅数据治理标准规范 .pdfVIP

工信厅数据治理标准规范

遵循国家、省、市工信厅标准规范要求，结合项目实际情况，制

定适应项目数据特征及大数据应用要求的管理及维护体系，确保大数

据的灵活可用性，适应未来数据扩展、海量数据增长及大数据发展的

趋势，为项目数据资源的连通、共享、交互打好基础。本文是项目数

据模型的命名，设计和管理规范。

将基础数据作为一个公共服务，为用户提供公共数据服务支撑，

帮助数据应用提升获取数据的效率，降低数据加工的深度和复杂度;

提升各个产品和应用间数据的一致性。主要包括以下几方面的内容:

将业务系统数据同步进入到ODPS，建立统一、-致、唯一的ODS

数据层实现通用模型层(DWD、DWS)逻辑的加工和转换。

在满足业务目标的同时，在数据模型设计上，重点关注以下目标:

1、成本:模型设计者必须平衡性能和成本要素对数据模型的影响，

尤其是海量数据情况下，在保障业务和性能的前提下，应该使用合理

的数据模型方案和存储策略，尽量消除不必要的数据复制和冗余。

2、性能:模型设计者需要兼顾模型刷新性能开销、产出时间和访

问性能。

3、数据一致性和数据互通:各个数据模型或者数据表之间保障数

据输出的一致性，相同粒度的相同数据项(指标、维度)具有相同的字

段名称和业务描述，不同算法的业务指标应显性化区分。

4、数据质量:数据模型需要屏蔽源头垃圾数据源，-方面要保障

数据本身的高质量，减少数据缺失、错误、异常等情况发生;另-方面

需要保障其对应的业务元数据的高质量，数据有明确的业务含义，为

数据使用者提供正确的指引。

5、易用:在保障以上目标的前提下，数据用户能从业务角度出发

快速找到所需的数据:能较快的掌握模型的适用场景和使用方法:能相

对便捷获取数据。但是，在目标出现冲突时，在通用数据模型并不完

全承载用户使用数据的易用性目标要求，数据消费产品和数据应用可

以提升数据使用的易用性。

一、表命名规范

STG层表命名规范:stg_{业务库名}{业务库原始表名}。

二、6.1.3字段集命名规范

字段默认使用源系统字段名称字段名与xcopute关键字冲突时

处理规则:加一个”_col”后缀，即:源字段名_col.

三、表设计规范

ODS层数据对STG层数据进行数据全/增量合并以及数据清洗

和标准化动作，

ODS层有两类数据表:

1、保持原始格式的全量数据表，主要是用于溯源，按照业务主

键对STG表数据与前一天ODS清洗全量数据进行合并去重。

2、清洗和代码标准化，代码名称字段扩充后的标准基础数据表，

标准化动作:

标准代码转换，按行业代码定义标准，对源系统代码进行转换，

源系统代码字段及标准代码字段均保留，不能转换成标准代码的代码

值在标准代码项内保存成未知值。

代码值扩展，对常用代码，将代码对应的名称字段扩展到表内。

字符格式转换，进行全半角转换，nul1/none/空字符串统一

转换为null,字段中部分特定字段的清理。

时间标准化，扩充按datatime类型的时间字段。

身份证格式标准化，统-格式化为18位长度的身份证。

如果部份表的转换或清洗动作较多，为能溯源，可单独保留和

STG表一致的原始表模型。

四、表命名规范

标准表:ods_{业务库简写标识}_{业务库原始表名}[分区标识]。

原始表:ods_{单位简称}_{业务库简写标识}_{业务库原始表名}

[分区标识]Lys]。针对溯源场景使用。.