集建设及数据管理方法.ppt

数据质量管理流程 数据质量评估分析 问题解决和验证 数据质量问题分析 源系统数据人员 ODS系统维护人员 数据质量管理人员 数据质量检查人员 数据质量 检查 问题汇总 数据质量 稽核 分析问题 问题展现 ETL处理 过程 数据质量问题发现 问题工单 生成派单 派单 判断 源系统 问题工单 ODS系统 问题工单 工单处理 问题 解决 N 数据质量 分析评估 问题验证 数据质量 考核 源系统 评估报告 ODS系统 评估报告 数据质量 检查稽核 数据质量 评估监控 管理功能 源系统1 源系统2 ETL/EAI 企业数据平台 数据质量任务派发 数据质量角色管理 数据质量组织管理 数据质量工单管理 数据质量权限管理 数据属性关系检查 数据属性检查 数据表关系检查 数据对比稽核 异常处理 数据对比展现 数据质量分析 数据质量评估 数据质量告警 数据质量异常跟踪 数据质量修正跟踪 数据质量监控 数据质量管理平台 数据质量 基础管理 规则配置 数据处理情况考核 算法配置 统一指标定义 流程配置 异常流程跟踪 接口定义 数据质量管理总体流程 总体处理流程： 目录 ◇ 数据集市 ◇数据管理 数据整合 数据质量 元数据管理 元数据管理 元数据定义 元数据最本质，最抽象的定义为:data about data (关于数据的数据) 在数据仓库领域中，元数据被定义为：描述数据及其环境的数据 元数据存储 技术元数据：为企业技术用户和IT人员提供支持的元数据 业务元数据：为企业业务用户提供支持的元数据 元数据管理 元数据管理技术——公共仓库元模型CWM CWM 公共仓库元模型（Common Warehouse Metamodel）是OMG国际标准化组织提出的，主要目的是在异构环境下，使不同数据仓库工具、平台和元数据知识库进行元数据交换。 元数据管理－支持五类系统管理功能 描述哪些数据在数据仓库中; 定义要进入数据仓库中的数据和从数据仓库中产生的数据; 记录根据业务事件发生而随之进行的数据抽取工作时间安排; 记录并检测系统数据一致性的要求和执行情况; 衡量数据质量。 数据仓库元数据管理 数据仓库涉及的元数据管理包括： 数据源元数据 ETL规则元数据 数据仓库元数据 报表元数据 接口文件格式元数据 商业元数据 其他元数据 各类元数据管理办法： 数据源元数据 数据源元数据主要是数据库模型设计文档、为综合统计分析平台提供数据的各种业务系统的数据字典及数据接口文件等。 数据源元数据的管理：由相关人员对各类文档进行统一版本的管理。 各类元数据管理办法： ETL规则元数据 ETL规则元数据中涉及到数据源元数据、目标系统元数据、ETL流程、源与目标的映射关系等元数据信息。 数据源元数据包括业务系统元数据和数据仓库元数据等；目标系统元数据可能是数据仓库元数据、数据集市元数据等。 ETL规则元数据的管理：由数据库开发人员根据各个模块的ETL过程以及过程运行的顺序，形成相关元数据管理文档进行统一管理。 各类元数据管理办法： 数据仓库元数据 数据仓库采用RDBMS进行数据的存储和管理，设计模式遵循数据仓库的设计准则，实现主题、维、度量等多维概念模型，这些元素在RDBMS中物理上是具体的数据表，这些表与具体多维模型的映射关系需要通过元数据进行描述和定义。 数据仓库元数据的管理：制定数据仓库模型设计文档记录事实表、维度、属性、层次等信息，物理表与多维模型的映射关系等信息 ，对文档进行统一版本的管理。 各类元数据管理办法： 报表元数据 包括对报表和报表中具体指标（度量）的描述信息等 报表元数据的管理：对数据集上可以计算的度量进行相关元数据的管理，包括详细设计文档中对各个表中度量的定义、描述等；对所有表和度量之间的关系进行严格的文档记录，包括度量的计算、度量之间的相互依赖关系、以及历史信息进行元数据管理 各类元数据管理办法： 接口文件格式元数据 接口数据文件格式，包括接口数据文件的命名、传输周期、格式等说明信息。 接口文件格式元数据：与ETL规则元数据进行统一管理。 各类元数据管理办法： 商业元数据 系统中对各项指标的业务含义的描述性信息，在综合统计分析平台中，包括维、度量的业务含义描述，主题的分析目标描述，报表指标的解释信息等。 商业元数据的管理可以分解成数据仓库元数据的管理和报表元数据的管理。 各类元数据管理办法： 其他元数据 数据访问日志、数据装载日志等信息。数据访问日志记录数据库的访问信息，包括对数据库表的操作、锁、内存使用、I/O使用等信息；数据装载信息记录每个ETL过程的抽取时间、操作人员、起始和截止时间、抽取涉及到的表、操作行数等相关信息 其他元数据的管理：将元数据信息记录到日志，形成元数据文件进行统一管理 智能营销数据管理 智能营销元数