省内数据一致性管理优化建议方案(201409下发).doc

目 录 目 录 2 1 支撑能力建设 3 1.1 综述 3 1.1.1 系统整体架构 3 数据稽核的参考流程 5 6 1.2.1 数据采集 6 1.2.2 数据比对 7 数据分析 8 10 1.2.5 实施经验 11 1.3 辅助功能 12 1.3.1 可视化 12 配置化 14 14 1.3.4 实施经验 14 1.4 日增量稽核 15 1.4.1 日增量稽核流程 15 1.4.2 实施经验 16 2 日常运维保障 16 2.1 数据稽核连续性保障 16 2.2 差异数据的及时清理 16 2.3 实施经验 17 3 客户服务解释口径制定 18 3.1 综述 18 3.2 服解释口径 19 3.3 实施经验 21 4 长效机制建立 22 4.1 跨部门协作机制 22 4.2 业务上、下线的数据一致性管理方法 25 4.3 实施经验 26 5 数据一致率提升 27 5.1 管理手段提升 27 5.2 技术手段提升 27 摘要说明 为保障客户合法权益，推进省内增值业务数据一致性管理工作深入开展，2014年总部部署部分公司开展“省内增值业务数据一致性管理实施方案总结”及“难点问题优化方案研究”，并通过交流研讨的方式，对实施经验及优化成果进行了总结。内容主要包括：支撑能力建设、日常运维保障完善、客户服务解释口径制定、长效机制建立、数据一致率提升。 支撑能力建设 综述 系统整体架构 平台 图示6-1 系统整体框架 业务平台: 省内数据一致性工作开展的范围需包含所有省内业务平台。具体包括智能网业务、HLR业务、省内增值业务平台等。目前未满足全部纳入管理范围的省份，需分批次逐步实现业务平台的管理。 业务数据质量管理平台： 模块名称 模块描述 数据比对负责平台和BOSS的数据采集预处理稽核规则解析按规则进行比对最终输出差异数据稽核管理根据差异数据进行统计和分析根据修复规则调用相关接口进行自动修复流程管理实现稽核流程的配置管理流程调度流程监控的框架功能的实现系统管理实现对稽核任务的规则管理监控告警 相关维护人员通过数据比对模块发起对数据的采集与比对； 稽核管理模块得到比对的差异数据，并进行数据修复； 流程配置模块实现对数据比对与稽核管理中任务实现调度与配置； 系统管理模块将上述三个环节的配置信息进行展示，并进行告警规则的配置与相关异常告警的通知； 操作人员：整个数据一致性管理工作涉及到了业务质量系统的维护人员、市场部与网络部的配合人员、业务平台的管理人员。 数据稽核的参考流程 业务平台给省业务支撑系统返回数据一致性管理请求的应答； 业务平台和支撑BOSS根据一致性管理要求采集原始数据文件，通过FTP向省业务支撑系统发送指定的数据，采集时尽量降低对于生产系统的影响； 省业务支撑系统对业务平台的原始数据文件进行校验，并发送校验报告文件给业务平台，若校验失败则整个业务流程终止。校验内容包含检查原始数据的完整性、规范性、唯一性等； 数据比对流程：发起对CRM侧与平台侧数据文件的比对。 省业务支撑系统进行数据预处理，进行数据比对并生成稽核结果（主要以离线稽核的方式，完成海量数据的稽核比对，生成差异数据）； 根据实际业务需要，省业务支撑系统发起再次确认子流程（通过相应的实时查询接口去稽核BOSS和平台侧实时的数据结果，避免时间差的影响）； 差异处理流程：对获取的差异数据进行处理，以确保CRM侧与平台侧数据一致。 省业务支撑系统进行详细差异分析，并生成差异冲突数据； 省支撑根据和平台侧根据相应的业务规则对最终差异数据进行修复； 业务平台通过FTP给省业务支撑系统返回解决结果； 省业务支撑系统检查业务平台的解决结果，如果存在问题，由管理员协调解决。 核心功能 数据采集 可实现功能： 根据稽核任务的要求对业务支撑系统和增值业务平台的数据进行采集抽取。 功能说明： 支持对支撑系统和业务平台的采集根据稽核任务的需求进行自动采集 支持稽核任务的采集要求（采集业务、字段、时间等）的配置化 支持对于增量数据和全量数据自动采集 支持对采集文件的完整性时效性连续性进行校验 避免数据采集工作对于实际生产系统的影响 对BOSS内部系统数据和外围平台系统数据采用不同的采集方式 1、内部系统采集主要以数据库直连主动采集为主，预先根据业务定义不同的采集规则，可支持对用户订购关系、业务、局数据、CBOSS失败工单、积分对账数据的采集； 2、外部系统采集主要以一致性接口申请为主，由外部系统主动上传文件至BOSS侧; 对于HLR等特殊平台，数据采集可以由业务数据质量管理平台通过FTP获取前一天HLR的dump文件。 方案二 根据平台特性建立2套稽核平台： 网元接入类业务采用网元数据稽核管理平台，通过复用BOSS营