04_数据治理方案_数据质量管理.docVIP

QB-╳╳-╳╳╳-╳╳╳╳

PAGEI

目 录

TOC\o1-3\h\z\u1. 术语、定义和缩略语 1

2. 总体说明 3

2.1. 概述 3

2.2. 建设目标 3

2.3. 系统架构 4

2.3.1. 功能架构 4

2.3.2. 技术架构 7

3. 业务问题 8

3.1. 数据质量问题域 8

3.1.1. 信息问题域 8

3.1.2. 技术问题域 9

3.1.3. 流程问题域 11

3.1.4. 管理问题域 11

4. 数据质量获取层 12

4.1. 数据采集范围 12

4.1.1. 接口信息采集 13

4.1.2. 基础编码采集 13

4.1.3. 处理过程信息采集 14

4.1.4. 指标信息采集 14

4.2. 数据采集功能 14

5. 数据质量存储层 15

5.1. 数据质量存储内容 15

5.1.1. 数据质量规则库 15

5.1.2. 数据质量信息库 16

5.1.3. 数据质量知识库 18

5.2. 数据质量存储方式 19

6. 数据质量功能层 19

6.1. 基础功能 20

6.1.1. 规则配置管理 20

6.1.2. 数据质量监控 28

6.1.3. 数据质量问题处理 42

6.1.4. 数据质量评估 46

6.1.5. 数据质量报告 58

6.1.6. 数据质量对外服务 63

6.1.7. 数据质量两级联动 64

6.2. 接口数据内容检查 79

6.2.1. 内容检查功能 79

6.2.2. 内容检查流程 82

6.2.3. 内容检查方法 83

7. 数据质量管理机制与流程 84

7.1. 数据质量管理机制 84

7.1.1. 组织机构与职责 84

7.1.2. 角色与职责 84

7.2. 数据质量管理流程 85

7.2.1. 经营分析系统需求变更控制流程 85

7.2.2. 数据质量告警处理流程 87

7.2.3. 数据质量问题处理流程 88

7.2.4. 数据质量报告管理流程 90

8. 系统技术要求 91

8.1. 数据采集技术要求 91

8.2. 数据存储要求 91

8.3. 功能组件与对外交互要求 91

8.4. 监控检查技术要求 92

8.5. 控制台和对外服务接口技术要求 92

8.6. 数据质量监控其它实施要求 92

前 言

本标准的制订是为了构建企业数据质量管控体系，以及时发现、定位和解决企业的各类数据质量问题，确保数据质量的稳定可靠。

术语、定义和缩略语

下列术语、定义适用于本标准：

字母

名词

解释

S

数据采集点

覆盖经营分析系统数据处理环节的、获取每个环节运行状态的实体。该实体可以是程序实体也可以是任务实体

S

数据质量报告

数据质量报告是对数据质量日常监控以及质量评估等过程累积的各种信息进行汇总、梳理、统计和分析，形成的统计报告

S

数据管理域

数据管理域与信息服务域、经营服务域共同构成经营分析系统三域功能架构。数据管理域包含元数据管理、数据质量管理、安全管理和运维管理四部分。

S

数据质量监控

自动获取经营分析系统各环节的数据质量信息，结合元数据库中的有关采集规则和检查规则，对数据质量情况进行诊断，并及时向数据质量监控人员报告

S

数据质量采集代理(Agent)

是指完成数据质量数据采集功能的功能节点实体，该实体与采集服务端（Server）相对应

S

数据质量管理子系统

数据质量管理子系统属于经营分析系统数据管理域中的一个子系统，其功能是对经营分析系统数据质量进行监控、评估和数据质量问题处理

S

数据质量规则库

数据质量规则库是对数据质量管理活动所用到的各种判断及校验规则进行归类和存放的存储结构，存储的内容包括采集规则、监控规则、告警规则和审计规则等

S

数据质量信息库

数据质量管理子系统存储层上的存储结构，用于存储数据质量信息采集程序采集的数据质量信息、质量评估信息、问题解决方案和问题处理流程信息等

S

数据质量知识库

数据质量管理子系统存储层上的存储结构，用于存放数据质量问题相关的的识别方法（规则）、问题描述信息及解决方案

S

数据质量评估

数据质量评估是由数据质量管理人员根据需要发起，依据评估指标和评估方法，对源接口基础数据、基础编码或经营分析系统指标进行评价，得到评估结果并作为系统数据质量改进的参考和依据的过程

Y

元数据

元数据是描述数据间关系的数据。经营分析系统中元数据泛指描述数据概念（Concepts）、