城商行的大数据应用初探.pdfVIP

城商行的大数据应用初探

作者：姜欣荣等

来源：《中国金融电脑》2016年第2期

南京银行姜欣荣朱昊余洁余宣杰

随着互联网的迅猛发展，大数据逐渐成为了热度最高的技术名词。海量数据的多样性、时

效性等处理要求引发了对大数据分析的迫切需求。在各行业的跨界竞争成为商业热点的经济新

常态环境下，为了应对阿里巴巴、腾讯、京东商城等互联网企业利用大数据和技术优势推出的

创新金融服务的冲击，商业银行开展大数据应用也成为了适应移动互联网时代、迎接互联网金

融挑战的必要手段之一。

数据治理作为银行开展大数据应用的重要前提与基础，受到普遍关注与重视。其主要工作

内容包括数据管理技术平台、数据管理内容范围、数据治理运行制度及支撑团队等。目前，整

个银行业的数据管理技术平台已经从传统的联机在线数据库OLAP向数据仓库DW发展，部分银

行更是进一步发展到了以Hadoop为主流框架的海量数据存储和高速并行计算的平台框架。数

据管理的内容范围正在扩大，逐步兼容内部管理和外部资讯的各类结构化、半结构化、非结构

化数据。

同时，各家商业银行在大数据应用方面也在不断进行研究和尝试应用。如研究规划互联网

金融业务，探索银行渠道拓展到移动端等新型媒介；搜集和积累用户的互联网行为等数据。然

而，回顾大数据应用已经取得的成就，有关金融并取得实际效果的数据应用基本都是在消费金

融领域的产品营销方面根据客户的互联网行为取得的成绩。

本文研讨对象为某城商行。自2014年开展数据治理工作以来，该行已经初步完成了数据

治理的基础工作，包括数据标准体系的建设，数据标准与数据质量管理技术平台的研发，基于

GREENPLUM的ODS升级、数据管理与数据治理团队的建设与完善等。随着数据治理工作的深入

与推行，该行主要从两个方面入手开展数据管理与应用工作：一方面致力于探索数据质量提高

的策略，加强日益复杂的海量数据管理；另一方面则是加强对数据价值的探索与挖掘，进而规

划经营与管理策略，打造完善的数据服务体系以提升系统服务能力。

一、大数据处理平台建设与应用

1.平台总体架构

该行秉承安全目标、保密目标、最大化重用、简洁、灵活等设计目标，基于权限管理、基

础平台HiFundation组件（试用）、数据迁移HiETL组件（试用）查询、全文检索HiSearch

组件、日志统计HiLog组件等应用模块，搭建了大数据处理平台，以分布式文件系统为基础，

采取HDFS文件系统，主要由元数据节点、数据节点和从元数据节点组成。

2.平台部署架构

大数据处理平台现部署在6台服务器上，分别是Hidata1-Hidata6。每台服务器根据主要

应用功能的不同而部署组件。

3.平台逻辑架构

大数据处理平台从功能来划分，可以分为客户层、应用层与数据层，分别对应于客户访问、

应用服务与数据访问和处理。平台逻辑架构如图1所示。

（1）客户层

主要是平台为客户使用提供的接口及界面，一般以WEB方式表示，也可以表示成WINFORM

方式。

（2）应用层

面向实际的应用结构，内部根据应用的通用结构可分为系统接入层、统一的责任链、核心

商业逻辑和统一的面向应用的服务。

典型的应用处理流程为：

①系统接受不同请求（系统接入）。

②对应用请求进行过滤、安全控制、日志分析和错误处理（统一的责任链）。

③系统核心的逻辑处理。

④系统内部提供独立的服务，以及企业内部的集成等（系统服务）。

（3）数据层

数据访问层也称为“持久层”，其功能主要是负责数据库的访问，可以访问数据库系统、

二进制文件、文本文档或是XML文档。简单的说法就是实现对数据表的访问、增、删、改等操

作。如果要加入ORM等元素，那么就会包括对象和数据表之间的映射，以及对象实体的持久化。

4.平台应用案例

在应用层中，首先在3种数据服务功能点进行研究与应用，分别为十年账单、全文检索与

日志分析。这3种数据服务功能点分别对应着3个业务应用方向，即精准营销、经营管理、IT

基础运维管理。

（1）十年账单

借鉴支付宝十年账单的思路，该行在客户画像领域也做了初步探索。从ODS、核心历史数

据平台、网银等数据库中提取对客户自2004年至今的交易行为所产生的大量明细数据，依据

客户统计维度加工形成各种经济分析指标，进而根据指标值定义客户标签。最终将相