数据稽核系统解决方案.ppt

中兴软创数据稽核系统交流 2010年4月 南京中兴软创科技股份有限公司 数据稽核系统总体工作流程 数据稽核系统功能 数据稽核元数据配置 数据稽核规则配置----记录差异性 数据稽核规则配置----字段一致性 数据稽核规则配置---字段准确性 数据稽核规则配置----业务逻辑性 任务执行 数据稽核任务流程配置 ETL调度工具介绍（二） ETL调度工具介绍（三） ETL调度工具介绍（四） ETL调度工具介绍（五） ETL调度工具介绍（六） 数据修正 监控考核 中兴软创数据稽核系统特点总结 提供了完整的数据稽核闭环管理IT支撑； 灵活高效的ETL调度支撑，能够支持大数据量、多任务处理； 丰富的配置能力，业务人员也可轻松使用； 图形化的界面操作，后台动作一目了然； 案例介绍 XX省每个月的数据质量分析通报 XX省ODS数据稽核实施效果（一） XX省ODS数据稽核实施效果（二） * ? 2006, ZTEsoft Corporation. All rights reserved. ? 2006, ZTEsoft Corporation. All rights reserved. ? 2006, ZTEsoft Corporation. All rights reserved. * ? 2007, ZTEsoft Corporation. All rights reserved. ? 2007, ZTEsoft Corporation. All rights reserved. 章礼良 Zhang.liliang5@ 目录 数据稽核系统介绍 中兴软创数据稽核案例介绍 数据稽核系统建设的驱动力 提升客户对服务的感知 1.提升跨域、跨平台以及跨系统间的数据质量 2.提高服务的响应效率，进而提升用户的感知度 3.有效杜绝数据的差错，减少用户投诉 1 提高网络运行、生产效率 1.有利于提高网络资源的利用率 2.减少企业部门间在协同处理业务时因数据质量问题而带来的沟通和 协调时间，同时高效、持续的数据自动质量稽核手段有利于提高企 业的生产效率 3.可靠的数据质量保证企业网络运行的效率 2 支撑精确化运营，提升企业生产运营水平 1.为企业的数据共享提供数据质量保证 2.利于梳理和完善企业的数据质量管控流程 3.为企业的精确化运营管理提供数据质量保证 3 数据稽核是一个闭环管控的过程 发现问题 分析问题 规则完善 质量检查 数据修正 工作考核 数据工位 数据工位 业务人员 数据管理组 数据决策组 经验积累 规则积累 异常数据 归属源系统 质量目标 1、明确数据质量管理组织机构，通过在设置明确的数据质量职责来改善数据质量。 2、通过明确的数据质量标准及指导原则来推动数据质量意识。 3、制定数据质量管控流程以及数据考核标准来持续推进数据质量管理工作。 4、数据质量管控需要从管理和技术、系统上进行结合，很多环节需要人为介入。 5、数据质量管控流程需要闭环，数据稽核系统作为数据质量管控中重要的环节提供技术和数据平台支撑。 数据 质量 决策 小组 其人员由主管业务的领导牵头，组成跨部门的数据质量决策团队，负责制定数据质量目标，考核目标以及明确具体的管控流程。 数据 质量 管理 小组 其人员可以由与数据打交道的关键业务人员，熟悉支撑系统的关键技术人员等跨部门人员构成，负责提出具体的数据质量管理要求，确定数据检查的规则和逻辑以及决定数据冲突时解决方案。 数据 质量 执行 小组 需设立具体的数据工位，负责日常的数据质量执行工作，包括根据ODS-O系统提供的功能生成数据质量报告，组织、监督和推动数据的修正工作，以及对数据修正指标进行考核等。 描述 数据质量管理团队 数据稽核 配置管理 执行管理 报表管理 规则库维护 流程配置 ETL调度线程 管理 数据清理作业 定制 我的任务台 差异数据 同步派单 任务监控 数据质量报表 考核报表 一级 功能域 二级 功能域 三级 功能域 简述： 配置管理 对数据质量检查规则、数据质量任务、考核规则进行维护配置 执行管理 数据质量任务的分派、处理、审核、同步、监控 报表管理 提供数据质量相关报表以及对于考核结果的展示和查询。 ETL表信息维护 考核规则配置 日志监控 1、稽核表是数据稽核规则配置的基础 2、需要稽核的表的结构的配置 3、稽核表结构之间的对应关系的配置 【记录差异性规则】主要是检查跨系统之间实体记录不相同的信息。比如：A系统存在的用户资料在Z系统无。 【字段一致性规则】主要是检查跨系统之间实体相同的记录的字段是否一致。比如：某用户的城乡标识字段CRM系统跟计费系