运营商大数据治理体系（ word 可编辑版）.docxVIP

PAGE \* ROMAN PAGE \* ROMAN II 运营商大数据治理体系 目 录 范围 1 规范性引用文件 1 术语、定义和缩略语 1 总体说明 4 概述 4 目标 4 原则 5 数据治理体系 5 总体框架 5 组织架构 6 组织构成 6 角色职责 7 系统架构 8 系统功能框架 8 系统模块流程 9 系统边界 10 与企业级省大数据平台关系 11 与对外能力开放平台关系 11 与平台运维系统关系 11 数据治理核心模块 11 数据标准管理 11 6.1.1. 背景 12 目标及原则 13 业务分类和定义 13 技术功能要求 17 本期建设范围及内容 20 实施要求 21 元数据管理 21 6.2.1. 背景 21 元数据运营模式 22 元模型标准 23 元数据运维 27 本期重点建设内容 27 数据质量管理 28 与传统经营分析系统的区别 28 范围和原则 29 与其它功能模块的关系 29 本期数据质量功能需求 32 本期数据质量运维要求 33 数据资产管理 34 数据资产概述 34 数据资产范围 35 与其它功能模块的关系 36 本期数据资产功能需求 36 本期建设内容 39 数据安全管理 39 数据安全概述 39 建设原则 40 建设内容 40 边界关系 40 技术功能 41 管理要求 42 数据治理场景 45 背景描述 45 场景一：银行伪卡交易判别 46 背景介绍 46 场景描述 46 场景二：银行手机贷业务 47 背景介绍 47 场景描述 48 8. 附录 49 附录一：数据标准框架 49 附录二：数据标准体系定义内容示例 49 PAGE PAGE 13 范围 本规范规定了企业级省大数据平台数据治理子系统的建设内容，适用于各省（直辖市、自治区）公司企业级省大数据平台数据治理子系统的建设。 规范性引用文件 下列文件中的条款通过本规范的引用而成为本规范的条款。凡是标注日期的引用文件， 其随后所有的修改单（不包括勘误的内容）或修订版均不适用于本规范。然而，鼓励根据本 规范达成协议的各方对是否使用这些文件的最新版本进行研究。凡是不标注日期的引用文件， 其最新版本适用于本规范。 术语、定义和缩略语 字母名词 字母 名词 解释 CWM 标准是OMG 组织定义的数据仓库和相关系统的国际元数 据标准，给出了各种元数据结构的标准定义。CWM 标准的目的 C CWM 在于：使数据仓库和商业智能软件的元数据在异构的数据分析 工具、数据仓库平台、元数据存储库等系统之间进行交互。 E ETL 特指从数据源系统到大数据平台的数据抽取、转换和加载。 描述大数据平台中管理领域相关概念、关系、规则的数据，主 G 管理元数据 要包括人员角色、岗位职责、管理流程等信息。 大数据平台核心元模型是以CWM 为基础扩展形成的，针对大 数据平台的物理模型、逻辑模型、数据处理过程、接口单元、指标和维度编码等主要实体进行精确定义，并要求各省大数据 H 核心元模型 平台统一遵循的元模型。定义核心元模型的目的是建立大数据 平台的统一元数据管理标准，为元数据管理的功能层与应用层解耦、为企业级总部大数据平台和企业级省大数据平台的元数 字母 名词 解释 据交换和相互理解提供统一的语义基础。 核心元模型参照表是对核心元模型中的枚举类型属性进行枚举 核心元模型参 H 照表 J 技术元数据 S 数据处理过程 S 数据采集点 S 数据质量报告 值定义的编码表。参照表为枚举类型属性的每个枚举值定义了唯一的编码，并明确该编码的语义，是核心元模型标准化定义的重要组成部分。 描述大数据平台中技术领域相关概念、关系、规则的数据。主要包括对数据结构、数据处理方面的特征描述，覆盖大数据平台数据源接口、数据仓库、ETL、OLAP、数据挖掘、前端展现等全部数据处理环节。 数据从数据源系统到大数据平台前端使用的整个处理过程，包含大数据平台数据仓库内部的数据抽取、转换和加载。 覆盖大数据平台数据处理环节的、获取每个环节运行状态的实体。该实体可以是程序实体也可以是任务实体 数据质量报告是对数据质量日常监控以及质量评估等过程累积的各种信息进行汇总、梳理、统计和分析，形成的统计报告 通过获取大数据平台各环节的数据质量监控信息，结合元数据 S 数据质量监控 库中的有关检查规则，对各个环节的数据质量情况进行判断， 并及时向数据质量监控人员报告。 数据质量规则 S 库 数据质量信息 S 库 数据质量规则库是对数据质量管理活动所用到的各种判断及校 验规则进行归类和存放的存储结构，存储的内容包括采集规则、监控规则、告警规则和审计规则等 数据质量管理子系统存储层上的存储结构，用于存储数据质量信息采集程序采集的数据质量信息、质量评估信息、问题解决方案和问题处理