EDA数据质量工作汇报--江西电信.ppt

数据质量工作汇报 江西电信企业信息化部 2010年7月 目 录 数据组织 数据管理 系统支撑 运营效果 经验体会 * 江西电信企业信息化部 江西电信企业信息化部 * 数据质量管理历程(CRM-计费主产品一致性) 2007年5月 93.23% 2007年10月 98.73 2008年10月 99.94% 2009年12月 99.985% 2010年6月 99.998% 数据质量历程 企业数据管理 江西电信企业信息化部 * 数据考核 江西电信企业信息化部 * 目 录 数据组织 数据管理 系统支撑 运营效果 经验体会 * 江西电信企业信息化部 数据管理的五大内容 江西电信企业信息化部 * 按照集团规范，对CRM系统、计费等系统的信息完整性进行分析和整改。 数据完整性 使用系统功能对关键客户信息进行稽核并发分公司进行清理。 在各主要系统开展数据提速工作。 根据比对结果处理方案对每月比对出的差异数据进行清理，提高各系统数据一致性。 制定工号权限管理细则，对工号进行审核和清理 进行操作日志自查，完善系统日志功能 数据准确性 数据及时性 数据一致性 数据安全性 将端到端收入稽核融入江西电信数据TOP管理，极大提升工作的推进力度 围绕“五性”开展工作，构筑数据应用完整体系。 主产品 提升数据一致性——关键指标 江西电信企业信息化部 * CRM与平台---目标99.95% CRM与计费 固网与平台 窄带 宽带 VPDN 速率 彩铃 预付费 移动与平台 与HLR的后付费 与OCS的预付费 与AAA平台鉴权数据 与AN-AAA平台的EVDO 彩铃 与综合VPN 主产品 属性 主产品 附属 产品 产品 相关 根据数据的重要程度以及流程中可能存在的问题定位出影响数据一致性的关键指标。 城乡标识 用户属性 产品标志 付费模式 来显 彩铃 销售品 定价 目标99.95% 目标99.99% 提升数据一致性——业务流程 江西电信企业信息化部 * 省公司信息化部牵头 、 推动工作完成 提升数据一致性——数据修改工单流程 以清理彩铃平台数据为例描述工单流转过程。 江西电信企业信息化部 * 需求人提需求 接口人送审批 网支审批 接口人派单 彩铃平台修改数据 接口人确认 需求人验收 结束工单 接口人判断是否送审批，送哪个部门审批。 接口人根据需求内容将工单派发给相关系统或平台。 验收不通过 主管部门对工单内容进行审批。 提升数据一致性——相关文件 江西电信企业信息化部 * 规范化的流程管理保证了数据一致性清理工作有条不紊的进行。 比对结果处理方案中明确了对差异结果数据的清理方法，有效指导实际操作。 目 录 数据组织 数据管理 系统支撑 运营效果 经验体会 * 江西电信企业信息化部 企业数据质量管理系统 功能框架 任务配置定义 质量分析报告 数据采集 稽核过程管控 数据同步 稽核计划管理 同步处理 同步规则 稽核结果报告 创建计划 待审核计划 数据采集管控 数据预处理管控 数据比对管控 规则比对稽核 命令脚本稽核 存储过程稽核 异常数据报告 数据修正考核 在执行计划 * 江西电信企业信息化部 已完成计划 数据同步管控 数据同步报告 数据预处理 预处理规则 差异确认 一致性 准确性 完整性 系统管理 用户管理 日志管理 统计分析 监控告警 数据比对 数据校验 采集计划 数据提取 解析、过滤 校验、规整 合并 比对方式 比对周期 稽核计划管理 江西电信企业信息化部 * 一致性准确性完整性 稽核计划管理 数据采集 数据预处理 数据比对 数据同步 稽核过程管控 数据采集 江西电信企业信息化部 * 稽核计划管理 数据采集 数据预处理 数据比对 数据同步 稽核过程管控 采集计划管理 采集计划管理是把采集请求的信息如采集的范围、时间等进行管理。 数据提取是根据采集的范围以及时间向MBOSS或网元业务平台提取数据。有批量采集和单个采集。 数据校验 数据校验是对从MBOSS或网元业务平台提取出来的数据进行文件名称、文件大小、采集点等完整性的校验。 数据提取 文件FTP采集 实时接口查询 人工取数输入 数据采集根据采集请求，向IT系统或网元提取原始数据,数据的完整性校验。 数据预处理 江西电信企业信息化部 * 稽核计划管理 数据采集 数据预处理 数据比对 数据同步 稽核过程管控 数据解析 提取原始数据集中的有效信息，并根据编码规则对其统一编码，经过解析后的数据为标准格式数据 。 数据过滤 过滤是删除标准格式数据中无用或重复的数据 。 数据校验 数据归整 对经过过滤、校验的数据进行归整，输出为标准数据。 根据校验规则对数据的有效性进行判断 数据合并 数据合并是对经过检验、归整的不同网元平台或IT系统的数据进行合并，输出为可比对