大数据应用思路与实践.pdfVIP

1 本文的介绍分三个部分。第一是介绍一下我们整个大数据应用开始建设初衷，第二个是介绍我们的实 施历程，第三是风控应用的实践情况。 2 谈谈大数据技术为我们带来的价值，首先是整个大数据技术提供了一个高性价比的解决方案，能够极 大降低我们整个数据应用投入的成本，提高硬件资源使用效率，提升海量数据处理能力，实现更多的 应用成果；我们有机会从更多维度的数据关系我们去看待组织这个数据，由以前注重数据的因果关系 转移到注重数据的关联关系，逐步逼近数据的真相，其实最麻烦的一个问题就是我们在风控、售后、 营销业务也好，较小维度的数据准确性得不到保障，传统建模方法得不到很好的预测结果，采纳更多 维度数据，那我们分析预测的可操作性更强了。有前面两个基础，我们有机会在行业应用提升系统体 验，包括我们的客户和员工，可以从原来标准化的服务逐步转移到个性化的服务，把简单的程式化营 销模式转化为更自然的场景化营销模式。 构建大数据平台我们一开始的诉求还是解决我们原有的数据应用，特别是数据仓库存在的问题。以前 我们的数据应用是比较零散的，数据标准、数据存储这一块问题比较多。大数据是平台有更强大的处 理能力，我们可以规划企业级数据模型，在信息加工环节上我们可以减少数据重复加工，一份数据可 以多应用共享，每一个应用来说都可以轻装上阵，他可以聚焦自己关注的领域，不用太多去关注底层 3 数据的处理逻辑，这样他可以开发瘦身，我们可以逐步形成开放协同应用体系，每一个应用可以提供 更好专业化的数据服务。 整个大数据的体系还是放在我们智慧银行整体 IT 规划之下，希望提供个性化的客户服务、智能化的 应用服务以及提供我们全天候的风险监测服务能力，来提升我们的运营效能。技术层面我们要实现核 心技术的自主掌控能力，基于弹性高效的 IT 服务架构我们银行可以更低的成本来做应用。 4 总体实施历程主要分成三个阶段。 第一个阶段就是我们规划与技术选型的阶段，从 2015 年开始做规划和技术选型，第二阶段在 2015 年 7 月份开始聚焦我们的应用平台建设， 第三阶段从 2016 年 3 月份我们逐步在经营分析、 客户营销、 5 风险管理方面开始创新应用开发，到了今天差不多经历三年的时间。未来新的应用还要不断推出，但 系统建设的重心应该从量变到质变，逐步转向数据价值的挖掘层面 我们技术架构的方向就是希望打造一个实时智能的数据应用体系，基于更多的数据模型、业务模型， 结合我们实时流处理能力，持续打造智能化的服务平台，更有效率去挖掘数据价值，提供应用数据的 能力。从实践过程来看我们从一开始注重整体的架构规划，从平台化、产品化和服务化的应用要求， 希望能够聚焦提炼功能性的需求，包括技术和业务的公共需求，打造一个更好的平台化产品架构，来 形成在实施过程当中的成果沉淀和带来更多共享的技术组件，加速应用领域的开发。我们开始做的就 是基于微服务技术的应用服务平台，针对这个平台之上去提炼公共业务服务的能力，这样一方面可以 形成应用开发瘦身，另外一方面也提供标准的开发体系，帮助外包合作开发团队统一优化整个应用的 服务支撑能力。 6 在选型这个阶段也是很重要的，我们也跟很多厂商交流，因为平台选型一旦把控不好，后面开发的成 本增加，整个应用开发技术能力受到限制比较大。首先主要聚焦在整体性能这上，那我们也用到了很 多国际上的一些性能基准测试集，结合我们自己的场景