【案例】恒丰银行——基于大数据技术的数据仓库应用建设 [一点资讯].docxVIP

— PAGE \* Arabic 1 — 【案例】恒丰银行——基于大数据技术的数据仓库应用建设 [一点资讯] 【案例】恒丰银行——基于大数据技术的数据仓库应用建设  [一点资讯]  数据猿导读恒丰银行探索采用大数据技术构建统一的  企业级数据管理平台，重构数据仓库应用，减少数据重复加工与存储，促进信息管理应用的数据融合共享，提高数据处理总体效率，提升数据分析和应用创新能力，正逐步取得预期的成效。在论坛现场，也将颁发“技术创新奖”、“应用创新奖”、“最佳实践奖”、“优秀案例奖”四大类案例奖本文长度为9800字，建议阅读20分钟随着利率市场化进程加快、互联网金融业态的发展，传统银行与实体经济的业务横向联系与深度融合进展迅速，业务数据的内容不断丰富，数据规模也不断增长。伴随着商业银行业务的快速发展，传统数据仓库技术架构面临越来越大的挑战，其表现如下：（1）大部分传统数据仓库对分布式并行计算模式的支持不够，难以实现处理能力的水平弹性扩展，依赖于服务器硬件的升级实现处理能力扩容，不仅成本非常高昂，而且受到服务器硬件升级周期较长的限制。（2）商业银行因业务复杂性和多样性的原因，现存的数据应用系统种类较多。在单个数据库系统处理能力有限的情况下，普遍存在应用各自独立建设，缺乏统筹规划，系统间数据处理职责划分不合理、口径不一致，存在大量的重复加工和数据冗余的问题。（3）传统数据仓库软件主要面  向数据分析型应用，无法兼顾实时营销与实时风险管理等高并发、低延迟应用场景需要，较难处理非结构化数据，难以快速实现业务团队的数据探索、数据挖掘与业务建模需求。以Hadoop/Spark为代表的大数据技术发展迅猛，为解决传统架构的瓶颈带来了新思维。以大数据技术为基础的数据管理平台与传统数据库软件相比，具备如下优势：（1）更低的成本投入能够基于X86服务器弹性水平扩展，通过节点冗余增加容错能力，多核计算资源能充分利用，相比小型机方案成本低廉；利用本地磁盘做存储，节省昂贵的集中存储设备投入；软件产品和服务的价格更低。（2）更强的整体处理能力消除集中存储的带宽瓶颈，可采用SSD介质加速随机读写速度,获得极高的IO处理能力；针对并行计算需求设计，采用异步无锁的高并发服务框架，提供可线性增长的数据并行处理能力，可提供高并发低延迟数据处理服务。（3）更优的资源管理和调度机制可提供弹性的租户资源管理体系，防止不同应用之间的资源过度竞争，在不同时间段为各应用按需调配资源，利于在一个统一的数据平台上构建多个应用系统。处于业务发展的新阶段恒丰银行，更需要一个低成本可线性扩展的数据处理平台，解决企业多个数据应用形成数据孤岛，数据资源难以共享、数据标准不一、存在大量冗余数据的问题。恒丰银行在进行充分的可行性分析后，基于大数据平台重构优化了数据仓库及关联应用。同时基于统一的企  业公共数据模型上构建发展各应用集市和分析集市，减少数据的重复加工和各数据应用的开发成本。最后，构建了包容实时数据应用和数据分析型应用的统一软硬件技术架构，同时满足联机数据查询和海量数据分析需求，提高数据应用的开发效率和增强了服务器资源有效利用率，减少了应用总体开发和部署成本。周期/节奏2015年7月，恒丰银行正式启动大数据平台建设项目。2015年底完成需求梳理、架构与  应用规划。2016年1月，在开源软件、国产大数据平台的  基础上，恒丰银行自主设计开发建设企业级大数据应用平台，利用全新的大数据平台技术全面重构了企业数据仓库应用。2016年5月在企业数据仓库公共数据集市成果基础上，结  合大数据技术服务能力，升级改造原有的渠道、授信管理、审计、客户管理等系统，在客户服务、风险管理、内部管控、营销管理等多个业务领域开发基于大数据平台的创新。2017年延续大数据思维，将打造更加智能化的技术平台，整合深度学习、知识图谱、情感计算等前沿人工智能技术，自主研发智能决策引擎产品，与渠道和产品系统充分整合，为恒丰银行业务发展植入更加智慧的数据大脑。客户名称/所属分类恒丰银行/大数据技术服务任务/目标商业银行业务快速发展  对数据应用的时效性和处理能力提出了更高要求，传统数据仓库技术普遍存在升级成本高、不能弹性扩容、并发处理能力较低的问题。探索采用大数据技术构建统一的企业级数据  管理平台，重构数据仓库应用，减少数据重复加工与冗余存储，促进信息管理应用的数据融合共享，提高数据处理总体效率，提升数据分析和深度应用能力，正逐渐成为商业银行IT建设的热点方向。利用大数据技术可有效构建以数据仓库应用为核心、弹性扩容、资源相对隔离、多应用共存的分布式集群数据管理平台，有效解决长期积累的问题：(1)解决平台处理能力不足，应用分散问题分布式并行