银行大数据平台演变趋势.docx

银行大数据平台演变趋势前言大数据在银行里面听的比较多，而且最近也比较火，同时也是发展的趋势。对于银行来说，大数据能够让客户更加透明。目前八个产品在行内各个客户的全生命周期用起来并且已经直接产生了效益；但是整个过程中我们发现了很多问题，也是欠下的技术债。以下将从大数据定位、体系规划、大数据平台架构优化、团队建设以及应用案例等六个方面介绍银行大数据平台的技术体系的演进。一、大数据定位当前大数据平台自2014年建设以来，在行内投产的已经有八个产品。行内大数据产品的应用能够让客户更加透明，对于银行的风险管控也更加精准。现有的大数据产品已经直接产生效益。当前将基于大数据和AI技术构建以客户为中心的金融服务。现在我们已完成八大数据产品研发，同时通过现有的大数据产品实现了精准营销和实时的风险识别。目前的大数据平台基本进入比较成熟度发展期，未来我们将朝着AI方向去发展。我们将以数据为驱动奋力拼搏成为国内一流的商业银行。二、大数据体系规划随着业务和需求的不断增长，我们在大数据平台建设过程中遇到了很多问题。归纳起来主要有三个方面：首当其冲的是业务需求迫切，但是软件交付的时间与业务的预期存在较大差异。其次，已有的系统架构的逻辑比较复杂，难以快速扩展满足业务高峰期的要求。还有就是新技术的层出不穷，对团队协作和人员技能的要求越来越高对于以上问题，我们分别从系统架构、交付模式以及团队建设三个方向上入手。系统架构方面调整优化后，要变成高并发、易扩展、高可用的系统架构。敏捷开发模式实现了高质量的软件交付。现在的数据人才非常抢手，很多数据做出来还没有做完的时候就被挖走了。因此，我们需要高效率的组织架构和多层次人才体系去助力技术体系的成长和发展。为了达成上述三个方面的目标，分别制定了相应的策略。技术架构的优化方面，系统要做成分布式的架构，前端进行了微服务的改造，后台数据要做成分层的架构。同时，前后端代码都进行自动化测试和部署，并引入精益管理流程。为了适应开发模式的转变，对团队组织架构进行了调整。打通开发和运维，细化岗位职责，建立相应的能力评估模型。三、大数据技术体系演进接下来将从平台架构优化，交付模式改进，团队建设这几个方面详细展开介绍。3.1 平台架构优化首先，根据数据和应用紧密结合的关系对总体的架构进行了拆分。将其拆分成前端应用架构和后端数据架构。前端应用架构分成数据服务、数据产品，最终提供给业务使用的就是数据产品。后端数据架构主要是以数据为主体进行加工、数据工厂的模式，处理完之后最终的数据结果直接通过中间层给到应用架构作输入。这样拆分后数据流 7x24 小时持续被处理，解决了之前每天批量跑数据的时候前端应用就没法跑了。目前我们的数据满足所有渠道全天候实时访问的要求，包括网银、手机银行、微信等。优化完成之后，前端架构的部分产品会直接对外提供服务。后端架构进行分层后，包括数据采集、数据存储和数据加工。数据存储分为结构化和非结构化存储，存储不同类型的数据。存储之后分别做离线和建模计算对数据进行数据加工。其次是应用架构改造。对单体应用按微服务拆分，这样拆分后能够忽略环境差异、保证版本统一。我们的客户全景视图模式，分为前面的展示层、中间的服务层和后端的数据。刚开始的时候能够适应部分业务的发展，但是慢慢的发现性能的优化以及服务拆分其实很困难。我们进行微服务改造后会把将原有的三层架构按不同的服务做划分。前端的还是统一的UI，中间会用 API Gateway 做前端服务的接口，负责分发所有的请求。后面的中间层变成组件服务、公共服务和业务服务。公共服务放在构建库中，供大家重复调度。有些比较特殊的服务就会放在自身的业务服务中，这样的业务服务每个都是自身的微服务。把后端数据当做资源进行了一层封装，提供统一的数据接口供外部调用。微服务拆分后，会将其变成一个容器。容器集群有8台物理机，所有的容器都挂到 F5 上，同时与容器相同功能的服务也会通过传统方式进行部署。站在银行的角度，容器优点虽然很多，但是相对也是不稳定的工具。在最坏的情况下，容器即使不可用，传统的方式仍然能通过F5转发的流量提供对外服务，降低容器运行风险。目前容器平台有三类镜像，一个是基础环境镜像，主要包括OS、中间件。开发的同事会根据自己代码的需求选择相应的基础镜像，这样由业务代码和基础镜像合并起来的就应用版本镜像。应用版本镜像其实就是容器的交付物，在测试的时候将应用版本镜像和测试环境的配置结合起来在测试环境中做测试。要上生产环境时，就将其和生产环境配置结合起来。这样可以根据不同的环境灵活的配置同一版本的业务程序。以前的数据处理都是从源数据到数据的结合都是用一个口径加工出来的，中间经过了许多不同的中间表没有作其他的复用。我们对后端数据进行分层的架构调整后，中间过程产生的表会按照不同的主题进行规整。最后用数据的时候，业务