商业银行数据审计模式研究.docVIP

商业银行数据审计模式研究 [摘要]商业银行各业务领域大多采用基于关系型数据库的集中统一信息管理模式，为审计工作逐渐由传统的抽样现场审计模式向数据审计模式转变提供了新的发展契机。Hadoop作为一个高效、扩展性强、应用灵活的技术载体，与数据审计的需求相契合，对于数据审计的开展具有十分重要的意义。 [关键词]商业银行　;数据审计　;结构化　;Hadoop技术 一、数据审计的发展 近年来，随着商业银行各类业务管理系统的建设及应用，各类业务行为都被记载于数据库中，相关数据反映的业务特征逐渐成为审计运用的重要资料。通过对数据的筛选分析及比对，发现疑点线索，继而锁定重点，深入核查，从而实现审计全覆盖、提高工作效率。因此，各商业银行审计部门也逐渐建立起专业技术团队，将业务数据分析研究、模型构建等审计信息化建设作为重点工作内容。此项工作开展早期，审计部门引入了专业技术人员，利用如SqlServer、DB2等传统关系型数据库作为业务数据的汇总集市及分析工具，为数据审计工作的开展迈出了坚实的第一步。随着商业银行业务的不断发展，风险控制管理不断从严，对审计工作的要求不断提高，传统关系型数据库本身的技术瓶颈也逐渐显现。一是处理海量数据运算效率低。一家商业银行账户数量往往达到几千万乃至上亿，每年流水记录至少数亿条，在传统数据库环境下，一条语句命令的执行往往需要几十分钟。二是只能展现提取日的业务数据状态。因为普通关系型数据库为二维数据存储模式，无法对每日的数据状态进行保存，无法实现与以前部分业务状态的比对以及对银行账户日均存量等信息的统计。三是存储扩展性不强。随着数据提取范围及数据的积累，存储空间及运算能力逐渐接近饱和，解决运算和资源存储问题，往往只能采用更换硬件的方式。四是无法存储非结构化数据。对非结构化数据进行智能分析，已逐渐成为审计技术人员研究的方向，但传统数据库不支持非结构化数据的存储。 二、Hadoop技术 随着信息化技术日新月异的发展，审计人员也在不断尝试探索新的数据审计技术手段以提高审计工作效率，扩展数据分析功能。继传统关系型数据库之后，基于Netezza或者Teradata平台的数据仓库技术，也一度成为数据审计集市的基础平台。但其高额的成本，也让一些中小型商业银行望而却步。近年来，Hadoop作为基于分布式计算及存储的技术，以其高效、灵活扩展、高容错等特点，逐渐进入审计技术人员的视野。部分商业银行在建设审计系统方案中，已将Hadoop作为底层数据集市的应用平台。（一）Hadoop技术架构。Hadoop提供了一个稳定的共享存储器和分析系统，存储由HDFS实现，分析由MapReduce实现。HDFS（HadoopDistributeFileSystem）存储Hadoop集群中所有存储节点上的文件，逻辑上像一个传统的分级文件系统，存储在HDFS中的文件被分成数据块，复制到多个计算机中。该架构的优势在于数据可以在节点之间动态地移动，并保证各个节点的动态平衡，因而处理速度非常快，并且自动保存数据的多个副本，自动将失败的任务重新分配。MapReduce是一种面向大数据并行处理的计算模型、框架和平台，其本质是并行运算原理，适合处理需要分析整个数据集的运算，以批处理的方式运行，将单个任务打碎，并将碎片任务发送至多个节点，之后再以单个数据集的形式加载处理。此外，MapReduce的另一优势是能够对非结构化数据进行处理。（二）Hadoop技术优势。１．无容量和类型的限制。Hadoop的运算及存储资源可以由若干台并行的服务器提供，当资源不足时，只需将新的服务器并入资源池即可，资源池节点数量无上限，管理方便灵活。此外，实现了数据的并发运算及数据存储的多备份均衡分布。２．统一的平台可运行多种分析处理引擎。传统的关系型数据库底层只有一个引擎，只处理关系型应用。而Hadoop在底层共用一份HDFS存储，上层有很多组件分别服务多种应用场景。如以Cloudera的Impala组件为代表的确定性数据分析，其突出优势是响应速度快；Search组件可实现探索性数据分析，实现对非结构化的数据分析；承担ETL的数据处理及转化引擎，负责IO吞吐率及可靠性。３．相比传统商业数据平台具有成本优势。Hadoop技术应用环境为普通的PCServer群，不依赖某些品牌专用设备，在成本投入方面具有明显优势。此外，其开源性特点也降低了用户的投入成本。４．开源模式加速了Hadoop的研发和普及。目前，很多机构提供基于Hadoop的技术服务，该产品代码的开源性，也为Hadoop技术的不断优化升级及推广应用创造了便利条件。目前，国外的Cloudera、IBM公司及我国的华为公司等都在进行基于Hadoop的技术研发，并为客户提供技术支持服务。