技术引领，数据赋能——建行大数据能力建设之路.docx

2019年9月20日，建信金融科技大数据平台负责人赵世辉应邀做客由国内大数据公司 Kyligence主办的首届金融科技沙龙，为三十多家银行、保险、券商等机构带来主题为 “技术引领，数据赋能——建行大数据能力建设之路”的精彩讲座。本文节选自现场的演讲，已经本人审阅，敬请阅读。 主讲人：赵世辉，建信金融科技有限公司大数据平台团队负责人 金融科技发展历史 科技已经成为金融业经营决策和创新的一个核心动力，建行这几年有这么出色的业绩表现，很大程度上归结为建行在金融科技方面的持续关注和投入。其中，对数据的运用水平是科技水平的一个重要表现。各个时期科技对金融的推动，很大一部分是因为数据的赋能。 ●2000年以前的“IT+金融阶段”，数据赋能体现在数据和机器之间的关系上。通过信息系统实现业务的电子化、自动化，增强数据的交互能力，提升数据的服务效率。 ●到了2000年左右的“互联网+金融阶段”，金融科技的关注点转到人和数据的关系。利用互联网和移动端汇集用户数据，打通信息渠道，变革服务方式。 ? ●到了2016年左右，金融科技的重点转向数据和数据的关系。以大数据赋能金融业，削弱信息不对称、控制交易风险、降低交易决策成本、充分挖掘客户的潜在需求和价值。 ? ●未来5G、物联网、人工智能、区块链等技术将在更大范围内拓宽金融的数据视野和处理方式，给金融业带来新的发展机遇。 ? 建行大数据发展的重要里程碑 建行数据建设方面起步比较早，在2003年就在《全行的科技规划》中规划中就明确提出：数据管理应用水平是影响银行竞争的关键因素，是经营分析和科学化管理的先决条件。 ? 建行第一个数据仓库从2005年开始建设， 2006年上线，实现了跨部门、跨业务、跨时间、跨平台的数据整合。当时是一个后台的系统，和ODS一起协同，为监管和风险等应用系统提供数据。 到了2012年，建行开始新一代核心系统建设，在规划的时候就把数据线能力放到和交易线同等重要的位置。新一代数据线的建设思路非常明确，就是自主用数，把数据开放给最需要的人，让每一个用户都能通过简单的方式获取数据来做分析，让数据从后台走到前台。 ? 经过多年的建设，建行无论是在数据量还是在数据范围、数据类型上都有了很大的扩展，这种变化对海量数据的处理效率和分析方法又提出了新的要求，因此在2018年，建行又开始建立大数据云平台。 ? 目前建行正在基于大数据平台规划建设全行数据湖，构建数据生态，深挖数据价值，提升数据应用的能力。 ? 建行如何建设大数据？ 建行的大数据能力建设有两条主线。 ? 第一条主线：数据赋能。通过不断深挖自身的数据潜力，扩充外部数据，使数据在深度和广度上都有了很大的提升，推进了数据在更多业务领域的融合与应用。 ? 第二条主线：技术引领，也就是降低数据门槛。为了让更多的人运用大数据，建行一直在完善用户环境，提供更好的工具和方法，帮助用户便捷地查看、理解和使用数据，目标就是“人人都能玩转大数据”。 技术引领 从建行大数据技术演进的路线看，从使用国外成熟软件到使用开源技术，从单一产品到多元化产品，这个过程中紧跟技术潮流，提升了从数据需求、数据采集到数据归档、数据退出等全周期的技术能力。 在2010年以前，对于稍大一些的银行来说，数据仓库技术基本以Teradata为主。到了2013年，建行引入Greenplum，更加开放的架构促进了建行大数据的迅猛发展。2014年同华为合作，搭建了Hadoop平台，主要应用在非结构化数据处理和历史数据归档上，再后来又相继引入了Spark等Hadoop生态组件，搭建起了大数据分析平台。 ? 建行和Kyligence第一次接触是在2017年，当时用Kyligence的开源版本Kylin建立了一个应用。到了2018年，基于更多的开源技术与互联网厂商一起打造大数据云平台。 ? 大数据云平台是对建行新一代数据平台能力的增强，基于开源、云计算等技术，支持更多的数据、分析方法来适应建行转型和发展的要求。这个平台具备多种类型的数据整合以及海量数据处理能力，提供了大量大数据加工分析工具。平台主要提供三类服务： ? 第一类服务，基础资源服务，提供Hadoop，并行数据库、图数据库等，让应用快速的搭建环境。 ? 第二类服务，技术工具服务。提供数据获取，数据管理，数据开发等工具，利用这些工具，应用可以快速的进行数据加工和应用构建。 ? 第三类服务，数据支持服务。为业务提供贴源数据、整合数据、数据产品的支撑。 大数据云提供的众多产品和工具，可以依托统一的门户，统一的调度，统一的元数据管理和统一的资源管理串起来，形成了一个整体，适应复杂的业务场景。 ? 上图提到的产品组件和技术工具，可以为不同的用户装配出个性化的大数据环境，平台提供了UI、API、SDK方式，让大数据能力无缝集成到应用里，这是开放银行的理