银行大数据平台技术架构设计实践与应用.pdf

银行大数据平台技术架构设计实践与应用 一、银行大数据平台建设背景及目标 我们进行大数据平台建设有几个方面的背景。一是我们在信息化建设和数据分析的基础比较 好；二是虽然在信息化建设过程中建设了比较完成的 BI 应用，但随着业务不断发展，这些 解决方案已不能完全满足业务对于数据分析的需求；三是大数据技术的快速发展和应用为满 足业务迫切需求提供了新的解决方案。 我们在信息化道路上已经走过很长一段历程，通过软件系统将业务逻辑和业务流程进行电子 化改造，实现了业务数据结构化存储。随着业务数据的结构化存储不断发展，银行在数据分 析和利用方面也逐步进行建设，比如数据采集、数据仓库以及集市等应用也逐步建立，数据 下发、报表以及驾驶舱等数据消费应用也逐步完善。运用先进的数据分析工具深度挖掘数据 价值在行内的有着比较深厚的 “群众基础”，上至行领导、下至支行普通员工都深刻得理解 数据分析工具对于挖掘数据价值的重要性，并随着数据应用不断深入对于怎样更好的进行数 据分析和使用有了越来越多的需求。 业务部门已经不满足于仅对财务报表数据、经营情况的数据分析，希望能对业务开展各个环 节进行快捷的数据分析，对于业务经营活动提供强力有的数据支撑和决策能力。这势必增加 数据存储和计算资源，在面对这些新业务需求时传统的数据处理遇到的困难主要有几个方 面。一方面扩容成本比较高，且只能处理及结构化数据；另一方面大量的数据分析对于系统 的计算资源要求太高，无法保证数据分析效率；最后，只能提供离线数据处理，无法提供实 时或准实时的数据分析，这样就导致了业务需求井喷但数据分析系统却无法支撑的局面。 我行从 2013 年我们开始对大数据解决方案进行试验性论证，大数据解决方案可将更多的数 据纳入分析，将以前无法处理的半结构化以及文本数据进行处理，能够与现有的数据仓库和 集市等进行整合，充分利用现有整合结果进行精加工，并通过将大数据分析结果下发给行内 业务系统、报表工具进行数据消费，进一步深入挖掘数据的价值。 总的来讲就是我们有比较好的信息化基础和数据分析基础，业务对于数据分析的诉求无法完 全通过传统的 BI 类应用得到满足，而大数据提供的技术解决方案让业务更有想象空间。 经过与业务部门需求的深入沟通，与同业及厂商的进行深入调研，结合我行实际情况，明确 了大数据平台建设需要实现以下几个技术目标： 一是要有更多的数据，要比传统 BI 处理和分析更多的数据，提升数据分析的范围，在现有 数据的基础上补充对半结构化和非结构化数据的分析处理能力，实现对业务全流程相关数据 的整合和分析； 二是更全面的数据处理能力，批量处理能力要比传统 BI 更强，每天能完成 TB 级数据处 理，同时突破现有的 BI 系统仅提供批量离线数据处理的桎梏，必须要提供实时的基于事件 的数据分析决策能力； 三是要有更好的数据服务，针对业务对传统 BI 类应用使用中的痛点进行该改进，让用户能 够方便快捷了解平台能提供什么样的服务，怎样能快速获取到平台的数据服务；四是更丰富 的系统对接方式，传统 BI 将处理结果以批量方式下发给业务系统使用，我们需要将大数据 技术的处理结果封装成数据服务接口，与现有业务系统对接进行数据消费，减少批量数据下 发对下游系统的存储和性能压力。 二、建设难点及应对措施 在建设过程中面临的困难主要有几个方面，大数据技术基础薄弱、大数据技术应用能否发挥 价值的不确定大、数据治理管控的难度比较大等问题。 大数据相关技术薄弱无积累 银行信息建设过程是逐步积累起来的，且有比较多的同业建设经验可以借鉴，而我们在准备 进行大数据建设时，彼时在银行系统内掌握并用好大数据技术的还比较少，并没有太多同业 成功经验可以复制，新技术引入对于开发和系统维护的挑战都很大。我们做了三个方面的工 作进行弥补：一是加大人员投入，聚焦技术方向深入研究相关技术；二是找靠谱的实施服务 商，通过实施服务商找一些有大数据开发能力和实施经验的开发人员，加快原始技术积累进 程；三是加强技术交流，鼓励结合项目不断学习新技术并在项目组内进行交流，鼓励参加开 源社区组织的技术沙龙走出去看看别人怎样做的，积极与银行同业以及先进的互联网公司进 行技术和应用的交流。 大数据应用前景的不确定性大 大数据应用首先是技术上革新，其次是对内部管理模式和工作机制也是新的挑战，银行和互 联网企业的 “基因”上差异很大，项目建设论证阶段，专家评委对大数据技术在银行系统内 是否会 “水土不服”表示担忧。对于一个新组建的几乎零基础的团队能不能把大数据技术用 起来，以及能否发挥数据的业务价值都有很大的疑虑。为此，我们将建设工作分成几个阶段 实施，尽量减少一次性大量