数据治理平台系统简介.pptVIP

* * * * * * * * * * * * * * 采集适配器 元数据采集适配器是一种驱动和解析器，用来接收、解析各种不用类型数据源的数据，将有效的元数据存入模型，并建立关系。 在本期项目中，元数据管理系统的接口提供以下几种适配器：库表结构适配器、PowerCenter适配器、E/R Win适配器、数据平台血脉分析适配器、指标适配器、代码适配器、表头适配器等。 * 元数据存储结构 元数据存储模型层包括两部分内容： 元模型定义，即通过XML实现对象、对象关系及对象行为等的定义。 元数据实例存储，元数据实例存储到关系数据库中。 * 系统目标与定位 技术实现架构 数据标准管理子系统 元数据管理子系统 数据质量管理子系统 数据服务子系统 统一认证与用户管理模块 议题 * 系统目标 根据“数据质量检核管理办法”中PDCA方法论，基于现有数据平台，对其上数据进行全质量生命周期的管理，包括质量问题的定义、检核监控、发现分析、跟踪反馈。 检核调度 检核对象 收集需求 分析规则 规则库 执行 问题数据 修正 检核需求 检核指标 检核调度 管理 数据质量 检核分析 数据质量 问题管理 数据质量 趋势分析 数据质量 知识库 ? ? ? ? ? * 数据质量度量分类 大类 细类 正确性 唯一性检查 非空检查 类型检查 格式检查 值域检查 代码检查 指标标准偏差检查 数据集市指标准确性检查 完整性 外键约束检查 一致性 业务规则检查 及时性 数据平台数据生成及时性检查 * 功能需求 功能定义 完成情况 数据质量检核定义 检核系统定义 对纳入数据质量管理需求的系统、数据表纳入检核范围，并定义相关信息 已完成 检核指标与规则定义 按数据质量度量标准，为各类检核指标定义相关属性和数据检查规则。 已完成 检核调度策略定义 为数据质量检核指标类和业务方案定义灵活的检核策略 已完成 数据质量检核执行 检核控制引擎 调度符合执行策略数据质量检核指标，并分派给对应的处理器 已完成 检核执行处理器 对数据质量检核指标执行特定于其指标类的检查程序 已完成 * 功能需求 功能定义 完成情况 数据质量检核分析 问题分布分析 对数据质量检核的结果按机构、系统、数据质量问题三个维度进行分布分析 已完成 问题趋势分析 对数据质量检核的结果按时间维度分析，判断质量改善情况 已完成 检核指标批次对比 对同一检核指标的不同批次进行对比，分析质量改善情况 已完成 检核执行报告 对特定日期的检核结果，形成统计报表 已完成 数据质量问题管理 问题发现 查询符合特定条件的数据质量检核问题 已完成 问题发布 将需处理的数据质量检核问题归集到一个问题单，并发布给特定的机构 已完成 问题处理 跟踪问题单的处理情况 已完成 问题归档 对处理完结的问题单进行归档处理 已完成 数据质量知识管理 知识库维护 归集数据质量的特定问题，以及特定的解决方案，形成知识信息 已完成 知识库查询 查询数据质量知识信息 已完成 * 检核系统管理 应用界面 * 检核指标管理 主键唯一 应用界面 * 检核调度策略管理 业务解决方案 应用界面 * 数据质量检核分析 问题分布分析 批次对比分析 应用界面 * 数据质量问题管理 问题发现 应用界面 * 逻辑结构 三个层面： 定义层：定义作为系统功能的核心-数据质量检核，所需使用对象、指标、调度策略等配置信息； 执行层：使用已定义的检核配置信息，对数据平台数据进行检核； 分析层：对检核执行结果进行定量、定性的分析与处理。 前后端： 前端：用户使用基于操作界面的应用程序进行交互式的检核信息定义、检核结果分析等功能； 后端：系统根据检核策略在后台自动执行，无需与用户交互。 * 检核调度与分派 * 检核规则处理器类别 存储过程：固定SQL 存储过程：自定义SQL 固定Java程序 自定义Groovy规则脚本 固定 自定义 简单 复杂 * Groovy脚本示例 package groovy import java.sql.Connection import java.sql.ResultSet import groovy.sql.Sql import cn.cdb.backend.RuleHandler /** * @author 马春宇 2008-11-11 */ public class exampleGroovyRuleHandler extends RuleHandler{ //groovy数据库执行句柄 def sql_DQDB,sql_DPDB void init(long KPP_BH,Connection[] CONNS){ super.init(KPP_BH,CONNS) sql_DQDB=new Sql(conns[0]) sql_DPD