银行大数据技术应用与创新思考和探析.docVIP

银行大数据技术应用与创新思考和探析 　　摘 要 已经来临的大数据时代，将深刻影响中小商业银行的未来发展，加之我国当前正在深化以市场化为导向的金融改革，数据对金融行业发展的助推作用也在不断深化。在金融大数据蓬勃发展的大背景下，商业银行也面临难得的发展机遇。如何抓住机遇，将银行拥有的数据资源转化为银行发展的推进器，更好地服务于金融地区民生，是摆在面前的紧迫课题。 　　关键词 商业银行 大数据 应用创新 　　一、银行大数据应用的背景 　　大数据时代改变了人类的思维方式，变革了人类认识世界的方式，提升了人类改造世界的能力，也给银行的发展带来了巨大的机遇和挑战。 　　银行大数据应用可以理解为银行对自身的业务类海量数据和银行客户的社会化海量数据实施高效低廉存储、并行高速计算、深度灵活分析和持续创新应用，并最终创造商业价值的过程。这里的价值可以包括银行业务的商业模式创新、银行经营管理效率提升、银行客户商机挖掘和营销、银行客户风险评估优化等各个方面，甚至可能涉及银行进行跨界的业务创新和市场竞争。[1] 　　我国商业银行提供的服务和产品存在较大的同质性，在金融大数据蓬勃发展的大背景下，互联网金融和社交媒体的兴起为银行创造了全新的客户接触渠道，来自银行网点、PC终端、移动终端的结构化、非结构化的海量数据，为银行创造了深化客户挖掘、强化交叉销售、加快产品创新的广阔空间。[2] 　　另一方面在大数据时代，大数据将使银行决策从经验依赖向数据决策转化，管理人员将在深入了解和把握银行自身乃至市场状况的基础上，更加科学地评价经营业绩、评估业务风险、配置全行资源，引导银行业务科学健康发展。银行业务人员依托行内外海量数据的处理分析，实现客户精细化管理，基于客户大数据分析等，实现业务与IT融合、产品快速创新的目的。[3] 　　因此，银行开展大数据应用探索已是适应移动互联网时代、迎接互联网金融挑战的必然要求。运用大数据思维对传统银行进行改造，实现经营服务转型，这也是传统银行焕发生机、获得生存与发展的必由之路。[4] 　　二、搭建大数据平台，增强银行数据管理分析能力 　　大数据最主要的特征是超常规的数据库及软硬件环境。超常规数据和软硬件环境是指分布式处理（Distributed Processing），列式存储（Column Oriented Database），内存计算（In Memory Computing）和非关系型数据库（NoSQL）等各种新技术来代替传统数据处理方法。由于数据规模的爆发性增长，传统的数据处理方法已经无法有效地?理海量的数据，因此唯有借用超常规的技术才能实现数据的快速化。多样化数据是指多数据来源，多数据类型和正确与错误数据的混合。综上所述，拥有大量数据并非大数据的全部，大数据关键是指为了应对海量的数据，采用各种超常规技术快速有效地处理数据的各个环节――搜集、存储、分析和应用。 　　互联网普及和大数据技术的发展让数据的获取方式更加丰富和便捷，这是大数据平台的基础。银行作为经济领域中的交易中介，每天都会产生大量的数据，包括结构化、半结构化及非结构化数据，比如交易渠道和门户网站的地理位置信息、日志信息等。收集行内数据是大数据搜集的第一步，收集行内的客户海量数据并不难，但是光采集到自己这一环的数据还不够，银行需要整合行内与行外的数据，增强捕获和搜集行外数据的能力。比如与第三方平台以及企业合作、提供小微企业云服务平台、互联网信息爬虫抓取信息等方式，通过这些合作与开放式的方式能够获取更加全面的数据和信息，对数据整体的分析和处理帮助越大，这些外部数据和银行内部数据的结合给银行带来更立体的画面。 　　在获取和收集行内行外的海量数据后，大数据平台需要合理地存储与组织各种数据源数据，不适合的数据存储方式及不合理的数据存储策略都会增加存储成本，降低数据利用与分析性能。传统的集中式存储策略无法提供良好的I/O访问效率，也无法适应海量数据的急速扩张。因此采用目前比较前沿的Hadoop开源架构构建大数据平台，实现海量数据分布式存储策略。另一方面，大数据平台需要支持高效的计算方法来管理海量数据，例如分布式计算、SPARK内存计算等，大数据平台的高性能计算利用分布式计算架构来管理和分析大数据，利用高性能、可扩展性的开放平台为银行的大数据提供技术支撑。[5] 　　商业银行大数据平台系统结合数据仓库建设，建立统一的数据处理分析平台，数据仓库和大数据平台之间为相互补充的关系（见图1）。通过增加业界主流的大数据处理平台Hadoop，提升数据平台在海量数据的计算和查询能力以及非结构化数据的采集、存储和计算能力，实现业务与IT融合、产品快速创新的目的。大数据平台以海量数据的应用基础平台为目标定位，管理分析行内历史数据，对接第三方等行外数据，融合交易数据与行外数