大模型在金融领域的应用技术与安全白皮书(2024).pdfVIP

0

2

3

1.1大语言模型技术发展概述

语言建模（LanguageModel）可分为四个发展阶段，分别为统计语言模型、神经语言

模型、预训练语言模型、大模型语言模型。

其中最早的统计语言模型基于统计学习来预测单词，而后演进成为神经语言模型基于

神经网络方法预测单词。在神经网络语言模型中，通过使用神经网络，将单词映射为

向量作为网络模型的输入来估计单词序列的概率。随着注意力机制被引入，注意力层

（AttentionLayers）在文本中建立了词之间的相关性，使得模型在生成下一个单词

时，考虑到整体语句的意思，从而建立了Transformer架构，提升了模型理解和生成

语言的能力。

但随着参数的增加，需要大量人力来标注数据，因此OpenAI提出了预训练语言模型

（GenerativePre-TrainedTransformer），通过无监督学习在大规模无标签语料库

上进行预训练任务，在预训练中模型学会了基于前一个单词预测后一个单词。除此之

外，模型还可以针对特定的任务基于更小的数据集进行微调，提升在特定领域的性能。

基于此，通过不断叠加数据增加模型参数规模以及优化模型的提示工程，不仅可以解

决更复杂的任务，同时也拥有了更强大的文本涌现能力，从而演进成为大模型语言模

1

型（以下简称“大模型”）。

大模型浪潮爆发后，国内各企业纷纷推出自研大模型，大模型应用迎来了蓬勃发展的

阶段。据测算，我国2030年基于大模型的生成式人工智能市场规模有望突破千亿元

人民币。

与此同时，国内垂直行业领域的大模型也成为各个行业头部企业未来的发展趋势之一，

其中前沿的垂类大模型涉及领域包括媒体影视、电商、广告营销、游戏、医疗、教育

1

Zhaoetal,《ASurveyofLargeLanguageModels》

4

及金融行业。比如在金融领域，大型科技企业如华为推出了盘古金融大模型，而蚂蚁

集团则在外滩大会发布了金融大模型“AntFinGLM”并应用于蚂蚁集团内部产品“支

小宝”和“支小助”。

金融行业大模型在所有行业垂直大模型中落地速度相对较快。金融领域拥有天然的大

量数据积淀，从而为大模型应用提供了良好的数据基础。同时金融领域大模型的应用

场景较多，基于这些不同的场景，大模型有助于从不同角度提升原有从业人员及机构

的工作效率。比如大模型情绪分析的功能可帮助从业者基于投资者情绪状态预测股票

的价格；大模型精确度的提升可帮助从业者预测市场走势，大模型可基于过去大量的

金融数据学习预测未来市场趋势帮助投资者和金融机构做出更合理的决策；而复杂任

务的处理可协助从业者将大模型用于交易策略上，通过分析大量交易信息，大模型或

可识别交易中的风险参数并给出风险防控策略。

1.2大模型引领中国金融领域科技的国际化发展

因此，通过提升金融服务的效率和质量，大模型可提升我国金融机构的核心竞争力。

首先大模型的自然语言理解与内容生成能力可以与用户进行多轮问答对话，提升金融

客服的服务效率。其次，通过大模型进行智能数据挖掘处理，金融机构能够更快速准

确地获取市场趋势的洞察，做出更明智的决策。同时，大模型可以迅速了解各国的法

律、监管规定和市场动态，为金融机构提供国际化的业务洞察和决策支持，帮助中国

从业者更好地理解和适应国际市场的业务需求和规则。

海外金融科技公司已经在积极探索和持续深化大模型在金融服务领域的应用。

Bloomberg已推出BloombergGPT，一个基于500亿参数训练的应用于金融领域自然语

言处理的大模型。据研究，当前此大模型在金融任务包括金融资讯分类任务（FPB），

预测特定领域的金融新闻及话题（FiQASA），股指推理（ConFinQA）等特定任务上的

表现大幅领先于现有的近似规模的开放模型