03_数据治理方案_元数据规范.docx

PAGEVIII

目 录

TOC\o1-3\h\z\u1. 范围 1

2. 规范性引用文件 1

3. 术语、定义和缩略语 5

4. 总体说明 8

4.1. 元数据管理范畴 8

4.2. 数据分析系统元模型及核心元模型 9

4.3. 建设目标 10

5. 元数据应用专题 10

5.1. 元数据基础数据能力开放 11

5.1.1. 应用背景 11

5.1.2. 建设目标和方案 12

5.1.3. 应用场景 13

5.2. Hadoop平台数据链路分析 15

5.2.1. 应用背景 15

5.2.2. 建设目标和方案 15

5.2.3. 应用场景 16

5.3. 数据魔方应用 17

5.4. 指标运算关系分析应用 17

5.5. 数据模型变更监控 18

5.6. 报表指标优化清理 18

6. 体系结构 18

6.1. 功能结构 18

6.2. 技术结构 20

7. 元数据获取层 21

7.1. 元数据获取方式 21

7.2. 元数据自动获取管理 22

7.3. 元数据获取能力要求 23

7.4. Hadoop平台元数据获取 24

7.4.1. Hadoop集群数据实体元数据获取 25

7.4.2. Hadoop集群数据处理过程元数据获取 25

8. 元数据存储层 26

8.1. CWM、核心元模型及其参照表 26

8.2. 元数据存储内容 29

8.2.1. 业务元数据 30

8.2.2. 技术元数据 31

8.2.3. 管理元数据 36

8.3. 元数据存储方式 37

9. 元数据功能层 37

9.1. 公共基础功能 38

9.1.1. 元数据维护 38

9.1.2. 元数据变更管理 38

9.1.3. 元数据查询 39

9.1.4. 元数据统计 39

9.1.5. 使用情况统计 39

9.2. 数据质量检查 39

9.2.1. 元数据质量检查概述 39

9.2.2. 元数据一致性检查 40

9.2.3. 元数据关系健全性检查 42

9.2.4. 元数据属性检查 43

9.2.5. 数据链路完整性检查 43

9.2.6. 描述结构合法性检查 45

9.3. 元数据分析和图形展现 47

9.3.1. 数据模型变更信息图 47

9.3.2. 指标出数过程运行图 48

9.3.3. 指标一致性分析 49

9.3.4. 指标运算关系图 54

9.3.5. 血缘分析 55

9.3.6. 影响分析 57

9.3.7. 数据模型相似度分析 57

9.3.8. 实体关联分析 58

9.3.9. 作业映射逻辑分析 58

9.3.10. 无用库表和作业分析 60

9.4. 数据魔方基础功能 61

9.4.1. 数据魔方元数据管理 61

9.4.2. 数据魔方查询SQL拼装 62

9.5. 指标运算关系管理 63

9.6. 出数过程元数据管理 64

9.6.1. 元数据管理内容 64

9.6.2. 元数据描述结构 65

9.6.3. 功能要求 66

9.7. 指标查询检索体系管理 69

9.7.1. 新增指标注册管理 69

9.7.2. 指标元数据维护 70

9.7.3. 指标标签管理 71

9.7.4. 指标主题域管理 71

9.7.5. 度量元数据管理 72

9.7.6. 分析维度元数据管理 72

9.8. 数据模型变更管理 73

9.8.1. 数据元素管理 73

9.8.2. 数据模型命名规范稽核 73

9.8.3. 数据模型变更信息订阅 74

9.8.4. 数据模型版本管理 74

9.9. 元数据运行维护报告管理 74

9.10. Hadoop平台元数据管理 75

9.11. 元数据分层级管理 76

9.11.1. 数据模型分层管理 76

9.11.2. 指标重要级别管理 77

9.11.3. 多视角分类目录管理 78

9.12. 元数据服务封装 79

9.12.1. 概述 79

9.12.2. 技术实现 80

9.12.3. 技术要求 81

9.12.4. 能力要求 85

9.13. 元数据权限管理 92

10. 元数据应用层 92

10.1. 元数据基础数