银行大数据平台架构设计及应用最佳实践.docx

? ? ? ? ? ? ? ? 某银行大数据平台架构设计及应用 | 最佳实践 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 【摘要】某农信社的新目标是通过提升农信系统大数据应用能力，促进数据应用与具体业务场景相结合，全面推动行内大数据工作平台化、链条化运营。本文介绍了该行如何借鉴国内外同业的先进经验，同时结合行内实际业务需求，采用大数据平台和配套产品，进行混搭大数据技术架构设计及平台落地。【作者】社区ID kappyy，目前在省农信社负责大数据平台架构和运维工作，对大数据平台这块具有丰富的实践经验。 1、背景 银行业是一个数据密集型行业，也是一个数据驱动的行业，数据一直是银行信息化发展的主题词。而今，在互联网金融时代，伴随着商业银行经营转型的持续深入，各家银行对大数据应用的需求日益多元化，迫切希望借助大数据应用，践行以金融科技赋能业务创新及服务体验升级。建设银行、招商银行、平安银行等，在360客户视图、精准营销、实时风控、产品创新等应用场景，通过借助大数据手段成功实现在客户体验、运营管理和产品服务等方面的数字化创新转型。农信社作为农村金融、普惠金融、民生金融的主力军，始终贯彻落实“创新驱动、科技引领”发展战略，不断加强在小微企业金融、个人金融等方面的大数据应用探索，旨在促进产品创新和服务升级，为用户提供更加安全、便捷、实惠的金融服务。因此，通过提升农信系统大数据应用能力，促进数据应用与具体业务场景相结合，全面推动行内大数据工作平台化、链条化运营是我们的新目标。 借鉴国内外同业的先进经验，同时结合行内实际业务需求，采用某大数据平台和配套产品，进行混搭大数据技术架构设计及平台落地。充分发挥大数据技术的特点与优势，提升农信社大数据服务能力，助力业务推广应用。我们的总体目标是建立起符合农信社特色的大数据应用体系，利用特有的大数据能力，挖掘数据的潜在价值，以提供更统一、更高效、更完整、更灵活的大数据服务，逐步由支撑业务到引领业务迈进，最终实现数据驱动业务的转型升级。 2、需求分析 在大数据时代，银行从以交易为中心转向以数据为中心，以应对更多维、更大量、更实时的数据和互联网业务的挑战。大数据平台从多方面解决现在行内存在的问题，具体如下。 2.1? ?历史数据查询 提供全行结构化的交易明细类数据的历史数据归档保存，支持全量数据归档、增量数据归档，支持指定频率周期性归档，支持大文件归档与小文件归档、提供半结构化和非结构化日志文件的归档。实时查询用户的历史交易明细，能够将查询范围从1年提升到7年以上；能够实现百TB级历史数据表的毫秒级查询。 2.2? ?数据应用服务体系 优化数据存储，提升数据计算能力，实现数据服务的可视化、可配置、可扩展，完成数据前中后台的解耦，通过对行内海量数据及外部数据进行统一管理，分析加工，提供数据的应用及服务，并对数据应用进行业务场景封装，提升业务数据应用能力。 2.3? ?客户画像标签体系 客户画像，即客户信息标签化，通过收集客户社会属性、消费习惯、偏好特征等各个维度的数据，对客户特征属性进行剖析，完美地抽象出一个客户在银行的信息全貌，为银行进一步精准、快速地分析用客户行为习惯、金融消费习惯等重要信息，提供快速、精准地识别定位客户功能，从而提升客户服务能力，完成对客户的全方位标签刻画，为客户管理、实时风控、反欺诈、精准营销、风险预警奠定基础。 2.4? ?外部数据管理能力 实现全行级爬虫体系架构，定时爬取行外有价值数据，引入大数据平台，为展示、分析、挖掘等其他应用提供基础，并在后期丰富爬虫能力。统一管理外联前置接口和数据，设置数据的有效期，通过对外部数据的统一管理，避免重复请求外部数据，减少资源消耗。 2.5? ?数据挖掘模型建设 结合同业大数据场景应用及供应商模型积累、场景应用优势，充分理解并利用大数据、机器算法、人工智能等技术，利用挖掘工作平台进行数据挖掘模型、应用场景的建设，通过对行内实时和非实时的数据分析及挖掘，完成“客户流失预警模型、贷款违约概率预测模型”2个模型的建设及应用。并同步对数据挖掘工作平台进行功能优化及算法丰富，实现大数据在营销管理、风险管理等方面的支撑。 3、技术难点及应对措施 3.1? ?Hbase多实例 为Hbase多实例的管理存在难点。通过配置不同的hbase客户端的配置文件，调度代码从相应位置获取并加载配置文件，从而解决多实例管理问题。 3.2? ?安全模式重启认证 客户端在安全模式下，需要24小时后定时重启一次客户端。采用crontab自动执行定时shell脚本的方式去定时重启jar包，解决了定时重启的问题，保证项目能自动化部署并实现高可用。 3.3? ?API接口 数据服务平台DASP与该大数据平台各组件API对接困难。该大数据平