浅谈计算机审计中数据清理和数据转换技术.docVIP

浅谈计算机审计中数据清理和数据转换技术 阙圣贵 （江苏省海安县审计局，江苏 226600） 摘 要：计算机数据审计是指运用计算机审计技术对被审计单位与财政收支、财务收支有关的计算机信息系统所存储和处理的电子数据进行的审计。通过对被审计单位的电子数据进行采集、转换、清理、验证和分析，帮助审计人员掌握总体情况，发现审计线索，搜集审计证据，形成审计结论，实现审计目标。而开展计算机数据审计的前提必须获取被审计单位的原始操作型的数据，并进行适当的清理和转换，使其适合分析的需求。本文介绍了审计工作中常见的数据清理和数据转换相关技术。 关键词：审计 数据清理 数据转换 中国审计的根本出路在于信息化，信息化的关键在于数字化。审计信息化、数据化不只是一种理念，更是一种手段、一种方式和一种发展趋势。随着计算机及数据库技术的飞速发展，我国的审计技术水平发展非常迅速，审计方法从过去的手工翻账，发展到今天的利用计算机进行审计。由于从源系统中采集到的数据来源众多、种类繁杂以及数据不规范等原因，这些源数据可能存在两种情况：一是有些列的数据对审计分析是无意义的；二是对那些有意义的数据，可能又存在某些数据值定义不完整、数据冗余等情况。这些不规范的、不完整的数据会影响后续数据分析的结果。因此，数据清理和数据转换是面向数据的计算机审计的必须要进行的工作。 1 数据清理 数据清理是面向数据和计算机审计中的重要一环。检查、控制和分析审计数据的质量，在数据质量问题上发现审计线索，清理有质量问题的数据，为后续的审计数据分析服务，这些是面向数据的计算机审计的一个技术重点。 原始的审计数据是审计人员从被审计信息系统中获得的，这些数据的质量如何？审计人员要首先进行评价。 1.1 数据质量的主要评价指标 准确性：数据值与假定正确的值的一致程度 完整性：需要值的属性中无值缺失的程度 一致性：数据对一组约束的满足程度 惟一性：数据记录（及码值）的惟一性 有效性：维护的数据足够严格以满足分类准则的接受要求 原始数据中可能存在的数据质量问题有很多种，包括缺失的或不完整的数据、不准确的数据、不一致的数据、重复的记录等。 由于被审计数据来源众多，种类繁杂，会存在不少的数据质量问题。在面向数据的审计中，审计的对象是数据，不能简单地把有质量问题的数据抛弃掉，因为这些数据中有可能蕴涵审计线索。首先要根据数据质量的要求，对审计数据进行检查，对发现的数据质量问题进行分析，找出造成问题的原因，发现隐含的审计线索，然后清理有质量问题的数据。清理的目的是为后续的数据分析做准备，有问题的数据会给数据分析工作带来错误。 广义上可以认为凡是有助于提高数据质量的过程都是数据清理过程。数据清理工作主要包括确认输入数据、修改错误值、替换空值、保证数据值落入定义域、消除冗余数据、解决数据中的冲突等。 1.2 数据清理的几种基本技术 1.2.1 解决不完整数据（即值缺失）的方法：大多数情况下，缺失的值必须手工填入；某些缺失值可以从本数据源或其他数据源推导出来。 1.2.2 错误值的检测与解决方法：用统计分析的方法识别可能的错误值或异常值，如偏差分析、识别不遵守分布或回归方程的值；使用简单规则库（常识性规则、业务特定规则等）检查数据值；使用不同属性间的约束；使用外部数据。 1.2.3 不一致性的检测及解决办法：定义完整性约束用于检测不一致性；通过分析数据发现联系。 通过数据清理以后的数据就可以进行数据转换了。 2 数据转换 解决对被审计单位不同类型数据库格式的识别问题，是一个语法层次上的问题；数据转换技术要解决对采集到的原始数据的含义进行识别的问题，同时，它还要将具有相同或相近含义的各种不同形式的数据转换成审计软件处理所需的形式相对统一的数据，这是一个语义层次上的问题。数据转换的前提是数据采集。 2.1 为什么要进行数据转换 2.1.1 被审计单位信息系统的多样性带来了数据不一致性 开展计算机审计必然面临各式各样的迥然相异的被审计单位信息系统。被审计单位信息系统的差异，必然给审计工作带来数据的不一致性问题。数据的不一致性大体有以下表现形式： （1）同一字段在不同的应用中具有不同的数据类型。如字段“借贷方标志”在A应用中的类型为“字符型”，取值为“Credit/Debit”，在B应用中的类型为“数值型”，取值为“0/1”，在C应用中类型又为“布尔型”，取值为“True/False”。 （2）同一字段在不同的应用中具有不同的名字。如A应用中的字段“Balance”在B应用中名称称为“Bal”，在C应用中又变成了“Currbal”。 （3）同名字段，不同含义。如字段“月折旧额”在A应用中表示用直线折旧法提取的月折旧额，在B应用中表示用加速折旧法提取的月折旧额，等等。 （4）同一信息，在不同的应用中有不同的