临商银行：大数据智能分析决策平台.pdf

——中小金融机构数智化转型之数智化转型优秀案例

临商银行：大数据智能分析决策平台

一、项目方案

1.项目背景

随着业务的快速增长和日趋复杂，业务数据也越来越多、数据处理的效率也

越来越低。在大量业务数据应用涉及到的数据采集与接入、数据存储与查询、数

据分析与计算、数据服务等环节中，都有众多难点需要突破。在开展实际工作过

程中，我们需要在数据采集与接入环节，能够接入各种大量业务数据源和各类异

构数据。在数据存储和查询环节，能够对用于数据分析产生的指标进行计算和存

储，需要具备同时支持热数据、温数据和冷数据查询的频率。在数据分析与计算

环节，能够备实时处理过程中的复杂计算逻辑，包括糅合指标、模型、业务规则

等各类计算逻辑。在处理业务中，大量业务数据应用是一个与业务场景进行深度

结合的过程，在具体应用落地的过程中，需要具备将技术与业务结合的能力。

为提升我行数据质量，解决存量数据问题，提升大数据对业务发展的支持能

力，开展本次大数据智能分析决策平台建设，整体目标如下所示。

（一）构建大数据应用服务能力，引入Hadoop集群平台、数据管控平台、

数据交换平台、调度平台、实时流处理平台、SmartBI报表平台的落地部署，主

要实现面向多类型数据的集中存储和数据交换，以及多种来源数据的混合处理及

分析；

（二）数据治理体系规划及落地，根据业务调研结果，实现包括制定元数据、

梳理数据标准、制定质量检核规则；

（三）数据仓库的搭建，实现老数据仓库全部数据及相关新系统数据的接入；

（四）实时大屏展示建设、自主报表迁移，实现报表个性化定制功能，满足

各级员工数据需求。

2.功能架构

针对此次项目的主要需求和业务目标分析，此次项目实施的核心分为平台建

设和业务场景落地两部分。

平台建设包括，产品部署实施、大量业务数据接入、相关系统对接调试、静

态数据引用、计算资源引用、数据分析和数据结果数据等部分内容。

业务场景落地是在平台建设的基础之上，利用基础平台功能，实现数据指标

的生产、展示，实现数据治理分析技术在行里的落地应用。针对上述内容，对项

目功能架构图如下所示。

——实时决策平台：它以实时计算引擎为核心，整合数据接入，指标管理，

模型管理，规则管理等实时服务模块，支持实时采集，整合，分析和可视化数据。

可以在不中断现有数据源，存储和其它企业级软件系统的活动的情况下实现数据

的实时处理。提供了针对实时场景的一站式决策服务中心。是将ETL、业务模型、

机器学习、人工智能、可视化扩展到实时的大数据产品。

——数据治理管控平台：是集数据接入、数据存储、数据建模、数据加工计

算、数据对服务为一体的集成化平台，可以大量减少建立数据仓库的成本。

（1）数据接入层：同构源系统数据，标识并增加数据中心标识；

（2）基础数据层：按业务主题划分，统一数据标准，数据清洗、合并;部分

保留历史处理；

（3）汇总数据层：数据轻度汇总,为集市层提高效率；

（4）应用集市层：按分析主题，供业务分析使用；

（5）数据计算层：在HDP集群基础上，实现数据的离线、内存计算、实时

流计算、批量调度处理。

3.技术架构

——数据接入及存储层：根据不同需求和查询效率的差异性，采用了多种数

据库存储策略组合的方式提供服务。利用Kafka、MQ作为消息队列，对接入时序

数据进行队列缓存，供各种数据流处理消费分析。

——微服务管理层：Nacos作为服务注册中心及配置中心，使用Feign来实

现服务互调，使用Ribbon作为负载均衡器，使用采用了Hystrix的作为熔断器，

使用SpringCloudGateWay实现服务网关，使用Sentinel做限流，使用zipkin

实现服务调用的链路跟踪。

——可视化层：使用vue做前端展示，nginx做软负载。

——数据同步层：支持flink、sqoop、datax、hiveload、API、FTP等多种

方式进行数据同步服务，可处理结构化和非结构化数据。

——数据开发层：支持sql