银行大数据平台的选型设计和实施最佳实践.docx

? ? ? ? ? ? ? ? 银行大数据平台的选型设计和实施最佳实践 如何做好银行大数据平台的选型、设计和实施？ ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 目 录 TOC \o 1-3 \h \z \u 一、银行行业中上大数据平台建设的多吗？现在是什么形势？ 3 二、在银行大数据平台建设中，应该如何进行产品的选型？ 4 三、银行行业在大数据平台建设中，如何进行技术路线的选择？ 5 四、在银行行业大数据平台项目建设中，如何进行定量需求分析？需要收集哪些需求数据信息？ 6 五、如何进行大数据平台建设的系统方案设计？有哪些具体的设计内容？ 7 六、在大数据平台项目建设中，涉及新购或扩容改造的产品、资源有哪些？ 8 七、某银行大数据平台应用调用kafka的API往kafka里发送数据，发送端出现OOM的难点问题？ 9 ?  【摘要】本文由来自银行业的实践专家介绍当前银行业大数据平台建设的现状和趋势，分析如何进行产品和技术路线选型，如何做好设计，可供正在规划大数据平台项目的银行业同行参考借鉴。 一、银行行业中上大数据平台建设的多吗？现在是什么形势？ 目前银行业很早已经认识到大数据的重要性，利用开源的技术组件来建立大数据平台整合行里的数据资源，从而进一步挖掘数据的内涵价值，支持银行业务。目前本人身处商业银行，所以我只能谈谈商业银行大数据平台推进和落地的大致情况。大数据平台在大中型商业银行已经落地开花，相应的大数据应用正如火如荼地展开，基本上都已经完成大数据平台建设。 截至到目前，大数据技术在大中型商业银行的应用主要表现在以下三大领域： 1）风控领域 利用大数据技术实现对用户多维度、全方位的客户画像，建立起具备自我学习能力、不断迭代的风险模型，从而实现更加精致、高效地风险量化能力。 比如实时风控系统。 2）精准营销和智能投顾 利用大数据技术对多渠道获得的信息进行整合、分析和应用，实现“千人千面”，达到提供给客户科学的资产配置和投资建议。比如用于零售的大数据精准营销，智能投顾系统。 3）运营优化 数据是银行最宝贵的财富。利用大数据技术，对银行海量客户行为数据分析，了解未来市场的发展方向，从而做出有针对性的战略调整。比如行为分析系统。 总之，大数据技术和传统的技术一块构成了银行的混合技术体系，在银行的应用系统中发挥越来越重要的作用。大数据平台已成为银行最重要的基础技术平台和基础数据平台。 以某商业银行为例，14年就开始探索和建设大数据平台，尝试将新的应用使用大数据技术来实现，不断积累经验，逐渐推广到使用大数据技术优化重构现有应用系统。目前该行大数据平台经过三期的迭代建设，已经引入10多个开源技术组件，建成200多台规模的集群，纳入了全行所有的数据，支撑了该行20余个应用，其中一多半都是A类或A+类系统。 二、在银行大数据平台建设中，应该如何进行产品的选型？ 银行大数据产品的选型一般会考虑三大因素：选什么样的产品、该产品的什么版本、行业的应用案例。 1） 选什么样的产品 根据具体的业务或者应用的需求，选择合适的技术组件。对银行而言，技术组件一般要选择Apache社区下的活跃度比较高的，这样才能保证该组件在未来比较长的时间内具备生命力，并且功能会不断地迭代完善和优化。 2） 产品的版本 对银行来说，升级某个产品是个巨大的工程。因此选择合适的版本，尽量减少该产品的大的升级是一个非常重要的事情。一般而言，在满足需求的前提下，会选择次新稳定版。 3） 行业的应用案例 银行在选择大数据平台产品，不管是选择某一家都会进行行业案例的了解和应用情况的咨询，毕竟具有行业案例的产品选择是比较好的，不同行业业务场景不一定一样，所以在这方面还是会是一个参考的。 基于以上的三大因素进行考虑平台产品的选型。 三、银行行业在大数据平台建设中，如何进行技术路线的选择？ 银行在大数据平台建设中，对于技术路线的选择呈现的是大致类似的方式：主要是以开源技术为主，自主跟踪、掌控、应用、创新或联合业内专业大数据技术公司合作应用创新。 银行的大数据平台包括存储、计算（批量和流式）、展现、挖掘以及权限管理等功能模块，关于每个模块的技术路线的选择，一般遵循如下原则： ? 业务需求驱动：业务需求明确，组件的技术特性可以满足业务要求 ? 技术发展成熟：目前已发布的版本比较成熟稳定 ? 开源社区发展好：技术组件的开源社区发展比较活跃，技术演进路线清晰 具体技术组件如下： 1） 在海量数据的存储上，选择以HDFS、Hive表、HBase表作为存储结构化和非结构化数据的介质。 2） 在批量处理功能上，选择以MR、Hive SQL、SparkSQL作为批量计算的框架。 3） 在流式处理功能上，选择以Storm、SparkStreamin