审计软件算法的研究.docVIP

审计软件算法的研究 　　［摘 要］ 本文采用将OLAP技术与数据挖掘技术视为两个不相交领域的划分方法，认为数据挖掘技术是在OLAP技术基础上更进一步的发展，但这并不意味着在任意领域数据挖掘技术总是比OLAP更为有效；在特定应用场合，例如在目前技术条件下的审计领域，OLAP的技术特点反而更适合审计业务要求，这正是区分OLAP技术与数据挖掘技术的意义所在；在此基础上，进一步根据数据仓库存储方式对几种不同的OLAP模式进行细分；最后详细分析了基于MDX查询的OLAP算法原理，并首次给出了一种完整的基于MDX查询的OLAP算法的代码实现。 　　［关键词］ MDX；审计；OLAP；算法 　　［中图分类号］F239.1［文献标识码］A［文章编号］1673-0194(2008)03-0067-04 　　 　　1 引 言 　　 　　通常对OLAP技术与数据挖掘技术的关系有两种划分方法： 　　一种划分方法是把OLAP技术与数据挖掘技术视为不相交的，数据挖掘比OLAP更进一步； 　　另一种划分方法认为OLAP技术中的上钻、下钻、切片、切块等操作都属于数据挖掘技术的功能，OLAP是数据挖掘的一部分。 　　本文采用前一种划分方法，即把联机分析处理（OLAP）与数据挖掘视为不相交的：OLAP提供了数据汇总、聚集的技术方法，帮助简化数据分析；而数据挖掘则能自动发现隐藏在大量数据中的隐含模式和知识。 　　与前面的分类相对应，OLAP工具的目标是简化和支持交互数据分析，而数据挖掘工具的目标是尽可能自动处理。 　　在设定OLAP与数据挖掘不相交的前提下，本文通过讨论OLAP的核心特征及典型应用，给出了特定条件下能实现OLAP核心特征的基于MDX查询的OLAP完整算法。 　　 　　2 OLAP技术的核心特征与典型应用场合 　　 　　既然采用把OLAP技术与数据挖掘技术视为不相交的划分方法，那么需要了解OLAP技术的核心特征及其典型应用场合，以揭示区分OLAP技术与数据挖掘技术的意义所在。 　　动态联机分析（OLAP）处理技术有3个核心特征：多维观察、数据钻取、CUBE运算。借助对审计业务典型应用的分析，有助于清晰理解OLAP的这3个核心特征。 　　2. 1利用OLAP的多维观察，对被审计数据进行多角度的观察 　　对遇到的各种问题进行分析的时候，即使对同样的现象，通常也会从多个角度去分析考虑，并且有时候还需要从几个角度进行综合分析。这是OLAP分析最基本、最核心的特征：从多个观察角度的灵活组合来观察数据，从而发现数据内在规律。 　　审计最重要的业务特征是需要对特定的被审计数据集合，通过多个不同角度的观察，以找出数据集合中的可疑之处，即所谓的“鸡蛋里面挑骨头”。而OLAP的从多维角度进行数据分析的最核心特征，恰恰与审计最重要的业务特征相吻合，因此，可以说OLAP是现阶段最适合用于支持审计业务的技术，而不是数据挖掘技术。 　　2. 2利用OLAP的数据钻取，对可疑的被审计数据进行抽丝剥茧的深入追踪，以获得更为精确的信息 　　在对被审计数据的观察分析过程中，可能需要在现有数据基础上，对可疑的被审计数据进一步细化，以获得更细致更准确的资料，帮助判断是否有问题存在。审计的这种对可疑问题需要进行层层追踪的业务特点，恰好可以由OLAP中的数据钻取功能来满足。 　　2. 3利用OLAP的CUBE计算，通过预先创建审计数据立方体，提高审计效率 　　如果需要顺利地利用OLAP的多维观察、数据钻取功能提高审计效率，需要预先创建足够多的被审数据立方体（CUBE），也就是说，需要预先为审计人员准备足够多的各种形式的被审材料，供审计人员随时调用。因为收集材料是审计过程中非常耗时的环节，要提高审计效率，必然需要由计算机代替人来完成这个步骤的工作。OLAP的预先创建数据立方体（CUBE）的技术特征也恰恰与审计的这种业务特点相吻合。 　　OLAP分析所需的原始数据量是非常庞大的，一个分析模型，往往会涉及数百万条、数千万条、甚至更多数据；而分析模型中包含多个维数据（即观察的角度），这些维又可以由浏览者作任意的提取组合，结果大量的实时运算导致时间延滞。可以设想，一个对于1 000万条记录的分析模型，如果一次提取4个维度进行组合分析，那么实际的运算次数将达到4的1 000次方，将导致数十分钟乃至更长的等待时间。如果审计人员对维组合次序进行调整，或者增加减少某些维度的话，又将是一个重新的计算过程。而这种可能存在的耗时环节，OLAP可以通过预先创建数据立方体（CUBE）的方法加以解决，保证审计人员无需花费时间等待数据计算结果。 　　从以上分析可以看到，OLAP的3个核心特征恰恰是与审计业务的特点相吻合的，而且值得注意的是，要充分利用OLAP的这几个功能支