浅谈大数据在金融行业的应用与挑战.pdfVIP

浅谈大数据在金融行业的应用与挑战 作者：盛瀚 北京银行股份有限公司无锡分行，长期从事信息化安 全建设和 IT 服务管理的研究。 摘要：本文从对大数据产业发展进行分析，介绍大数据金融的相 关应用及场景案例，并阐述了大数据金融存在的挑战。 关键词 ：大数据，金融 1.大数据概述 1.1.什么是大数据 大数据（Big Data）是一个宽泛的概念，业界没有统一的定义，大 数据概念的兴起可以追溯到 2000 年前后，最初理解为一类海量数据 的集合。2011 年，美国麦肯锡在研究报告《大数据的下一个前沿：创 新、竞争和生产力》中给出了大数据的定义：大数据是指大小超出典型 数据库软件工具收集、存 、管理和分析能力的数据集。根据 Gartner 的定义，大数据是需要新处理模式才能具有更强的决策力、洞察发现 力和流程优化能力的海量、高增长率和多样化的信息资产。 大数据在通信、金融、教育等各个领域存在已有时日，近年来随 着互联网和信息行业的发展进入了快速推广阶段。 - 1 - 1.2.大数据的特征 大数据不仅有传统数据定义的“三个 V” ，即数量（Volume）、速度 （Velocity）和种类（Variety），还包含了更重要的第四个 V ，价值 （Value）。 阿姆斯特丹大学提出了大数据体系架构框架的 5V 特征，在原有 4V 基础上增加了真实性（Veracity）特征，包括数据可信性、真伪性、 来源和信誉、有效性和可审计性等特性，如图 1 所示。 图 1 大数据体系架构框架 5V 特征 1.3.大数据的发展趋势 随着大数据产业的不断发展，各行业的应用解决方案不断成熟， 大数据产业迎来了井喷式发展。Wikibon 数据显示，2014 年全球大数 据市场规模达到 285 亿美元，同比增长 53.2%。大数据成为全球 IT 支 - 2 - 出新的增长点，如图2 所示。Gartner 数据显示，2014 年数据中心系统 支出达 1430 亿美元，比 2013 年增长 2.3%。大数据对全球 IT 开支的 直接或间接推动将达 2320 亿美元，预计到 2018 年这一数据将增长三 倍。 图 2 Wikibon 全球大数据市场规模测算 全球大数据市场结构从垄断竞争向完全竞争格局演化。企业数量 迅速增多，产品和服务的差异增大，技术门槛逐步降低，市场竞争越 发激烈。全球大数据市场中，行业解决方案、计算分析服务、存 服 务、数据库服务和大数据应用为市场份额排名最靠前的细分市场，如 图3 所示。 - 3 - 图 3 Wikibon 全球大数据市场结构测算 2.大数据金融 随着大数据技术的应用，越来越多的金融企业也开始投身到大数 据应用实践中。麦肯锡的一份研究显示，金融业在大数据价值潜力指 数中排名第一。以银行业为例，中国银联涉及 43 亿张银行卡，超过 9 亿的持卡人，超过一千万商户，每天近七千万条交易数据，核心交易 数据都超过了 TB 级。 一直以来，金融企业对数据的重视程度非常高。随着移动互联网 发展各种务和服多样化市场整体规模扩大。对于数据分析带来的主要 业务价值，大量参加调研的金融企业表示，大数据分析的价值是可以 根据商业分析实现更加智能的业务决策，让企业战略制定更加理性 - 4 - 化。依靠有前瞻性的决策，实现生产过程中资源更优化的分配，能够 根据市场变化迅速做出调整，提高用户体验以及资金周转率，降低库 存积压的风险，从而获取更高的利润。 2.1.金融数据的类型 金融数据从数据类型上进行划分，大致可以分为结构化数据、半 结构化数据与非结构化数据三大类。 （1）结构化数据。结构化的数据来源自金融企业运营数据仓 (ODS)和数据仓库