金融行业AI应用参考架构和最佳实践.docx

? ? ? ? ? ? ? 金融行业AI应用参考架构和最佳实践 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?  本文分析了人工智能在金融行业的应用机会和挑战，并介绍了IBM AI 参考架构在不同AI应用阶段的金融行业案例，为目前正在探索和实践更加个性化与智能化服务的金融机构提供参考。 一、人工智能在金融行业的应用机会 近些年随着互联网对各行业的改造（或者说数字化转型），传统金融机构受到很大冲击。但是，大数据分析和人工智能等新技术的发展，也使得金融行业客户能够重获逆袭的可能。因为，对于金融行业来说，在过去几十年的发展中沉淀了巨量的可信数据，比如各类交易数据、市场数据、客户信息、票据影像等等，这些都是数据时代最宝贵的资源。以前限于处理能力，对于非结构化数据的利用十分有限，主要是为了满足各种合规性要求进行备份存档；如今随着计算硬件（如GPU和服务器集群）、大数据分析和管理技术、以及神经网络算法的发展，我们能够进行反复利用这些宝贵的数据资源来更精准地识别客户、更深入的洞察市场、更科学地设计产品、更有效地防范风险、更精细地营销管理。 目前人工智能在金融业的应用主要集中在量化交易、智能投顾，智能客服和生物身份识别等领域。除了当前比较普遍的自然语言处理和图像视频识别类应用，在风险与交易管理这种对复杂数据的处理方面，人工智能的应用更将大幅降低人力成本，并显著提升金融风控和业务处理的能力，为用户创造更高业务价值。 二、人工智能应用的特点及其当前面临的主要挑战 如果说传统的计算机程序是由人来定义执行逻辑，传统的统计分析是由人根据经验来设定各种规则模型，更多依赖于专家的经验和判断，是“人主导”的；新一代的人工智能（AI）应用可以通过数据反复训练学习来自动地找到适应的规则和逻辑，更多依赖于数据，或者说是“数据主导”的。因此，对于AI应用来说，不仅仅需要巨大的计算能力来进行建模和推理，更需要强大的数据管理能力来满足数据收集、整理、高速访问和安全性的要求。从数据收集、数据准备、建模优化到推理应用，然后在推理应用中产生新的数据来不断优化现有模型，最终形成一个闭环来适应应用需求的变化并不断提高模型的准确度，整个AI应用的流程是“数据驱动的” ，如下图所示。 对于AI的用户来说，在应用导入的不同阶段，也会面临不同的问题。在刚开始的“试验”阶段，更多的是人员经验和应用的可落地性（如模型的效率和准确性）；当进入到“生产”阶段，随着应用规模和数据量的增加，可扩展性和数据管理能力成为了主要瓶颈；而当应用规模进一步”扩展”时，需要利用各种数据分析工具来最大化利用数据资产以产生价值，数据平台和应用平台的“多租户”支持能力又成了关键。 对于金融行业客户来说，当前普遍面临以下三个主要挑战： 人员效率 AI相关技术人员供不应求，人力成本水涨船高，需要用更少的人工和更短的时间来完成更多、更高质量的应用模型； 数据效率 AI应用的数据量平均是传统型分析应用的八到十倍，需要优化现有数据存储和访问架构以满足新的应用需求； 资源效率 GPU和异构环境带来更高的复杂性，需要简化集群管理和应用调度，共享并充分利用宝贵的系统资源； 三、IBM AI 参考架构 为此，对于需要自建AI基础架构的用户，IBM推出了“IBMAI参考架构”，提供了一个开放的、可扩展的AI平台框架解决方案来满足客户不同应用、不同导入阶段的AI需求，并可和客户现有的基础架构进行整合来减少额外的管理开销。 整个参考架构分为三个层次。 1、应用和工具层： 通过开放接口支持各种不同开源或商用工具软件，用户可以在共享的计算和数据平台上根据应用需求灵活选用所需的工具来实现AI应用，大大提高数据资源和系统资源的利用率，同时满足不断变化发展的应用需求。 2、深度学习平台层： 通过Spectrum Conductor Deep Learning Impact（以下简称为DLI）整合多种开放的框架和函数库，提供统一的应用门户和流程平台，并为数据准备、模型设计与调优、模型部署等提供智能化的操作和运行平台。DLI可以充分利用分布式的集群架构，让数据科学家能够同时运行多项应用流程，迅速获取、转换、训练和迭代数据。 Spectrum Conductor强大的分布式计算和调度能力，可以确保提供应用所需的性能和扩展能力。通过IBM Spectrum Conductor高可用、多租户的优势，可支持各种多集群、或多云的部署环境，构建共享的企业级AI环境，部署和管理各种现代化的计算框架和服务，例如 Spark、Anaconda、TensorFlow、Caffe、MongoDB 和 Cassandra等等。在提供端到端的安全性之外，还可提供集中式管理和监控。 整个深度学习平台可提供的支持包括： 在许多运行多种模型的数据科学家