数据管控解决方案.ppt

通过快速搜索获取元数据信息； 支持包括中英文名称、关键字在内的搜索。 支持自动定版和手工定版； 自动定版：元数据信息发生变更，会自动维护版本； 手工定版：根据客户的需要将一到多个元数据进行定版并可对版本命名； 不论自动还是手工定的版本，都可支持日后查阅和分析。 统一门户 数据管控 体系 数据标准 管理 元数据 管理 数据质量 管理 功 能 说 明 说 明 数据管控（Data Governance）是指对一个企业数据的可用性、实用性、完整性和安全性等的全面管理。一个有效的数据管控包括一个管控主体、定义好的一组程序和一个执行这组程序的计划。 目录 数据管控概述 1 元数据管理 2 数据标准管理 3 数据质量管理 4 前期成果借鉴 业务访谈 系统调研 结合最佳实践分析、诊断 1.现状分析 确定映射的系统范围 制定源系统与标准的映射规则 根据数据验证映射规则 形成标准化定义初稿并讲解 对定义初稿征求意见和讨论 根据意见反馈和讨论结果和修正并形成数据标准 提出标准在未来各影响面执行的遵循原则 就标准与现状的实际差异给出具体的执行建议 2.标准定义 3.标准映射 4.执行建议 数据标准是企业级的业务规范，用于指导各业务系统及数据仓库的建设，而元数据是系统级的描述手段，更多的反映系统建设情况； 数据标准指导系统建设的成果可以通过元数据来反映； 系统的建设反过来促进数据标准的完善； 目录 数据管控概述 1 元数据管理 2 数据标准管理 3 数据质量管理 4 质量问题 信息域 技术域 流程域 管理域 数据质量问题产生的原因,归纳分析后可以总结为4个领域： 信息问题域、技术问题域、流程问题域、管理问题域 由于对数据本身的描述、理解及其度量标准的偏差而造成的数据质量问题。产生这类数据质量问题的原因主要有：元数据描述及理解错误、数据度量的各种性质得不到保证、变化频度不恰当等。 元数据描述及理解错误中的相关元数据主要包括： 业务元数据——主要包括业务描述、业务规则、业务术语、业务指标口径等； 技术元数据——主要包括接口规范、执行顺序、依赖关系、ETL转换、数据建模和工具等方面的内容。 数据度量和变化频度提供了衡量数据质量好坏的手段。数据度量主要包括完整性、唯一性、一致性、准确性、合法性。变化频度主要包括业务系统数据的变化周期和实体数据的刷新周期。 数据质量问题产生的原因分析—信息域 由于具体数据处理的各技术环节异常所造成的数据质量问题，它产生的直接原因是技术实现上的某种缺陷。技术类数据质量问题产生的环节主要包括：数据创建、数据获取、数据传递、数据装载、数据使用、数据维护等方面： 数据创建质量问题主要包括：创建数据默认值使用不当和数据录入的校验规则不当，导致指标统计结果不一致、数据无效、记录重复等； 数据传递质量问题主要包括：接口数据及时率低、接口数据漏传、网络传输过程不可靠，如包丢失、文件传输方式错误、传输技术问题、协议使用不当导致的数据不完整等； 数据装载质量问题主要包括：数据清洗算法、数据转换算法和数据加载算法的错误； 数据质量问题产生的原因分析—技术域 由于系统作业流程和人工操作流程设置不当造成的数据质量问题，主要来源于系统数据的创建流程、传递流程、装载流程、使用流程、维护流程等各环节： 创建流程质量问题主要指操作员数据录入时缺乏审核流程； 传递流程质量问题主要指通信流程沟通不畅； 装载流程质量问题主要指清洗流程缺乏/不当、调度流程逻辑错误、数据加载流程逻辑错误及数据转换流程逻辑错误； 使用流程质量问题主要指数据使用流程缺乏流程管理； 维护流程质量问题主要指缺乏变更维护流程、缺乏错误数据维护流程、缺乏数据测试流程以及对人工后台调整数据没有严格的流程监控； 数据质量问题产生的原因分析—流程域 由于人员素质及管理机制方面的 原因 造成的数据质量问题如： 数据库设计原则不严谨，数据使用不规范导致的业务数据重复，数据不一致。 人员培训所产生的质量问题主要指对数据质量相关人员缺少长期培训计划。 没有建立管理数据质量的专门机构，出现数据质量问题后无专人负责 没有明确的数据质量目标； 缺少管理数据质量的管理办法等。 数据质量问题产生的原因分析—管理域 数据质量管理工具流程图 功能一级分类 功能二级分类 说明 首页 首页统计分析 支持最近一天以及最近一周的质量情况统计分析，支持钻取；支持个性化首页定制； 规则管理 规则配置 规则依赖的需求，需要执行的数据标准，业务描述、规则类型（完整性，一致性，时效性，正确性） 规则浏览 规则清单浏览 检查点管理 检查点配置 配置检查目标及规则，技术属性（唯一，非空，值域，代码，外键，拉链） 检查点浏览 检查点清单浏览 检查点执行状态监控 检查点手动执行、状