QualityOne数据质量解决方案.ppt

目录 数据质量基本要素 数据质量提升方案 监控 管理 流程 知识 目录 数据质量解决方案 质量管理过程 MetaOne提供数据质量监控应用模块支撑数据质量检查的相关基本功能 质量管理知识存储 MetaOne元数据管理工具支持可扩展的元模型功能及多种元数据的导入导出功能，并且提供快速的查询功能 数据质量监控 数据质量监控模块是基于元数据的基础的，该模块通过对 系统插入监控点，实现对数据质量的监控，监控信息获取后，在通过数据质量监控规则对其进行检查。并且结合MetaOne中存储的元数据信息一起进行分析和展示。数据质量监控模块提供监控点和监控规则的完整、易用的接口 目录 目录 目录 处理流程 目录 数据质量规划 数据质量系统要基于元数据 元数据库存放规则、度量和实体及关系等，为数据质量检查提供规则，以及质量影响评估报告等支撑 数据质量的规则必须可配置、可视化、集中管理，而不是分散在各部分源代码 业务流程管理 图形化维护需求业务流程元数据的相互关系； 建设统一的指标口径库 知识库管理 将处理完毕的问题归纳总结 多角度浏览 全文检索 石竹软件有限公司 谢谢! * 数据质量系统一定要基于元数据 * * * * * * * * * * * * 监控代理触发一个监控点，监控点读取采集点采集的度量并用规则进行检查，如发现问题则进行报告、处理，处理完毕后将处理的方案总结成知识 各节点间对应关系： 监控代理－－监控点：1对1 监控点－－规则：多对多 规则－－度量：多对多 度量－－采集点：1对1 方案－－知识：多对多 采集点可以直接读取DB中数据，也可以读取通过XML－RPC接口传过来的XML文件 触发监控代理前采集点读取的数据必须先生成 * QualityOne数据质量解决方案 2008年1月 QualityOne 数据质量 解决方案 QualityOne定位 QualityOne价值 QualityOne产品简介 数据质量系统长期规划 数据质量解决方案 数据质量概述 主要包括实体不缺失、属性不缺失、记录不缺失和字段值不缺失四个方面 指主键唯一和候选键唯一两个方面 指统一数据来源、统一存储和统一数据口径 指数据刷新、修改和提取等操作的及时性和快速性 主要包括格式、类型、域值和业务规则的有效性 指计量误差、度量单位等方面的精确程度 完整性 及时性 合法性 精确性 唯一性 一致性 数据 质量 数据质量的 六大基本要素 数据质量概述（一） 在系统发展的不同阶段，系统对数据质量的关注点也有所不同。早期对数据质量的关注点主要是提高数据准确性，随着系统功能和定位的不断延伸，用户关注的重点逐步由数据准确性扩展至完整性、一致性、及时性等方面 目前系统关注的数据质量问题主要包括以下几个方面内容： 1、数据质量的六大基本要素是否满足： 完整性 、唯一性 、一致性 、精确性 、合法性 、及时性 数据质量概述（二） 2、如何从用户视角衡量数据质量，重视用户对数据的满意程度 3、如何建立基于CWM规范的元数据管理功能平台，支持数据质量管理，为将来全网共享元数据奠定基础 4、如何建立数据质量监控手段，及时发现、报告、处理经营分析系统数据质量问题 5、如何通过建立有效的数据质量管理体系来保障和提升数据的价值 QualityOne 数据质量 解决方案 QualityOne定位 QualityOne价值 QualityOne产品简介 数据质量系统长期规划 数据质量解决方案 数据质量概述 QualityOne 数据质量 解决方案 QualityOne定位 QualityOne价值 QualityOne产品简介 数据质量系统长期规划 数据质量解决方案 数据质量概述 QualityOne定位 基于元数据的数据质量开发平台 为数据质量管理系统提供基础设施 为数据质量监控程序提供规则信息 利用元数据存储库的内容，帮助 质量影响分析和评估 结合元数据理念，数据质量管理系统具共性的功能封装成应用，如规则库管理、监控点管理、质量影响分析等 QualityOne定位 数据质量管理系统 数据质量 监控程序 被 监 控 系 统 MetaOne 元数据存储库 元数据管理模块 元数据 元数据关系 QualityOne 监控点管理 规则库管理 质量监控 结果展示 质量报警 质量分析 接口 QualityOne 数据质量 解决方案 QualityOne定位 QualityOne价值 QualityOne产品简介 数据质量系统长期规划 数据质量解决方案 数据质量概述 QualityOne价值作用 封装 数据质量系统的基础信息和共性功能，降低数据质量质量系统开发风险、