数据稽核方法的研究与实践.docVIP

数据稽核方法的研究与实践 摘要：本文通过对电信系统数据割接后数据稽核的策略及各种方法的研究，在对联通C网数据进行了模拟割接试验后，对核心数据的进行稽核实践，总结并提出了多维度进行数据稽核的方法与实际过程中存在问题的解决方法。 关键词：数据割接；数据稽核；稽核策略，稽核方法，数据完整性；数据一致性；稽核脚本 引言 数据是一个系统的基础，在电信级核心系统的数据割接过程工作中，如何保证数据割接过程的完整性和一致性，是一个重点，也是一个难点。特别是如果数据的割接是跨运营商、跨系统、跨业务进行的，如何保证数据割接的完整性和一致性，更是一个业界关注的难题。 然而在数据割接过程中，如何对割接后的数据进行校验和稽核工作，对割接数据的完整性和一致性进行判断，则又是重点中的重点和难点中的难点。 本文基于对数据稽核的各种方法的研究，通过对联通C网数据模拟割接的测试，对数据模拟割接中涉及的核心数据，在割接转换后如何采用多维度进行校验、稽核，确保数据的完整性和一致性等方法进行综述，并对目前测试实践过程中存在的问题进行了分析和总结，以用于指导将来的数据割接工作。 数据稽核策略 分阶段设立稽核点: 在数据稽核工作一个重要的稽核策略是在稽核过程中根据不同的稽核阶段和稽核形式设立稽核点。稽核点是指在数据割接过程中进行稽核的时间点和对某项数据进行稽核的核查点。 根据数据本身的特性，将需要割接的数据以表为单位，分为二类：一类动态表，这类表的数据随系统的运行，实时在变更；另一类为静态表，这类表的数据在系统割接之前到割接之时，不再发生变化。对于静态数据往往采用提前割接的方法；对于动态数据则采用在指定时间一次割接。 因此，根据割接阶段的不同，通常为数据割接的稽核分三个阶段性核查点： 前期割接阶段核查点：稽核割接的静态数据正确性和完整性；稽核日志、历史数据、历史的话单、历史的操作流水等在一定的时间之后不再发生更新的数据； 正式割接阶段核查点：稽核割接过程中相关的动态数据的正确性和完整性；对转换过程中的数据进行核查，通常采用脚本形式进行稽核； 割接完成阶段核查点：稽核所有割接数据的正确性和完整性；对割接后的数据进行抽查和对比核查，通常采用人工抽验、旧系统对比核查的方法。 通过不同阶段稽核点的设立，以保证数据迁移的准确性，数据割接后问题可查性，保证数据割接的时效性。 建立闭环核查机制： 在数据稽核过程中，除了根据数据割接阶段的不同，设立不同的稽核点之外，在整个数据数据割接过程中，还应建立一套闭环的稽核机制，确保数据在整个割接过程中的完整性和准确性。如图1所示： 图1：闭环的核查机制 KPI指标核查：在KPI指标核查中，需要对数据急性分类指标核查，如对于普通表、受理历史表等直接采用按地市count条数，涉及到帐务费用的必须按地市统计费用且分费用类型进行核查等； 日志核查：在日志核查中，需要对导出、导入日志的核查，脚本程序日志的核查，程序写入数据库日志记录的核查，数据的导入、导出是否正常处理，脚本程序是否正常处理，脚本运行过程中是否有异常、报错或非正常中断等现象； 经验数据比对：经验数据对比是指保留上次转换完成核查结果，本次转换完成之后和上次转换进行比对，根据实际情况得出核查结果。 抽查：除了进行脚本稽核之外，还必须进行人工的抽验检查，一方面验证系统是否运行正常，一方面是对割接数据进行抽样检查，如产品管理部分需根据原有综合套餐的拆分总条数与后续拆分出的进行抽查比较；产品用户资料也应采用抽样核查的方法进行人工部分核对。 在不同的割接阶段，不同的稽核点，都应采用这样一种闭环的核查机制进行数据的循环稽核，不停的发现问题，不停的解决问题，直到最后数据中没有一条无头数据为止。 数据稽核的方法 总量稽核法 总量稽核法主要是对不同类型的数据在总量上进行多维度的稽核，通过不同维度总量的稽核，保证数据的完整性。主要包括：数据记录数，费用金额等。 指标稽核法 指标稽核法主要是针对特定的转换项根据数据类型的不同进行指标核查。指标的确定需要根据具体的业务来制定，这类指标应该是核查的重点，通过脚本核查新系统中各个表的逻辑关系是否正确，比如三户、产品，建立具体的指标进行稽核。 对比稽核法 对比稽核法较多用在批价、账务数据的稽核，主要是针对两套系统程序运行的结果进行核查对比，通过新旧系统执行同样的批价、出账操作，将结果进行数据的对比稽核的方法。采用对比稽核法需要在前期制定和规划周全的数据比对方案，然后按照比对方案对批价、帐务部分进行数据比对核查，通过各种比对指标及报表，查看比对数据的结果，数据不一致的需尽快找出原因并把问题解决掉，为系统顺利上线提供保证。在数据比对稽核过程中，不但要需要关注稽核的过程，而且更要关注数据比对后对数据结果，需要分析、找出数据不一致的原因。 抽样稽核法 抽样稽核法主要是在