智能金融：AI+驱动的金融变革.docx

智能金融：AI驱动的金融变革

郑小林教授

浙江大学人工智能研究所

2025年03月24日

金融智能研究金融智能应用提纲

金融智能研究

金融智能应用

新一代人工智能

新一代人工智能

新一代

新一代AI展望

一、新一代人工智能

一、新一代人工智能

定义：人工智能（Artificial

定义：人工智能（ArtificialIntelligence，缩写为AI），又称机器智能，指由人制造出来的机器所表现出来的智能。

——维基百科

ResearchProjectonArtificialIntelligenceAugust31,

ResearchProjectonArtificialIntelligenceAugust31,1955，Dartmouth

,

AI的核心问题：建构能够跟人类似甚至超卓的推理、知识、计划、学习、交流、感知、移动、

移物、使用工具和操控机械的能力等。

——维基百科

自然语言处理模型的演进

预训练语言模型（PLM）大语言模型

预训练语言模型（PLM）

大语言模型

（LLM）

神经语言模型

（NLM）

“预训练-微调”学习范式（

“预训练-微调”学习范式

（BERT、GPT）

上下文学习、指令微调、扩展规律

(GPT3、GPT4…)

Seq2Seq建模

基于循环神经网络RNN描述单词序列的概率

?优点：通过词嵌入和隐藏层，上下文捕捉和泛化能力较强；

?缺点：计算复杂度高，面对长文本序列仍会有“灾难性遗忘”问题

通常基于马尔可夫假设建立词

预测模型（N-gram）

基于Transformer架构的语言模型

基于Transformer架构的语言模型

?优点：

长距离依赖处理能力强：自注意力机制能捕捉任意距离的依赖关系。

并行计算能力强：Transformer架构支持并行计算，训练速度更快。

?缺点：资源消耗大

?优点：可解释、计算速度快

?缺点：从前向后单向计算；单纯基于统计频次、缺少对上下文的泛化；

随着n的增大，参数空间呈指数增长

GoogleTransformer：引入注意力（Attention）学习,2017

解码器

前馈网络Feed

前馈网络FeedForward

捕捉序列中元素之间复杂关系的多功能组件。通过使用线性变换和非线性激活函数，前馈网络使模型能够处理复杂语义，促进文本的稳健理解和生成。

编码器Encoder处理输入序列

编码器Encoder

处理输入序列

注意力Attention自注意力机制：

注意力Attention

自注意力机制：使序列中的每个单词都能“关注”其他单词，包括自己在内，以更好地理解上下文。（通过计算输入序列中每个位置与其他位置之间的注意力权重，得到加权的位置向量作为输出）

多头注意力机制：多个独立计算的自注意力机制，将相同的输入映射到不同的空间中进行上下文理解，使得模型获得了对输入序列有更细致透视，丰富了其表示，带有多样化的上下文信息。

（embedding）到另一个数值向量空间

（embedding）到另一个数值向量空间

PositionEmbedding：输入句子的所有word是同时处理的，没有考虑词的排序和位置信息，所以通过positionalencoding来衡量word位置信息

嵌入层Embedding

WordEmbedding:目的是将这些非结构化的文本信息转化为结构化

Google(2017):Attentionisallyouneed

GShard：基于MoE探索巨型Transformer网络（Google,2020）

GShard：基于MoE探索巨型Transformer网络（Google,2020）

?编码器和解码器里的部分前馈神经网络（FFN）

层被混合专家MoE层替代，并采用top-2门控机制；

?当模型扩展到多个设备时，MoE层在这些设备间共享，而其他层则在每个设备上独立存在。

—有利于大规模计算

新一代人工智能发展现状

新一代人工智能发展现状

BERT

BERT

OnlyEncoder

DeepSeek-R1QWQ-32B

DeepSeek-R1

QWQ-32B两阶段强化学习

BARTEncode

BART

Encoder-Decoder

Gemma-3

多模态推理融合

ChatGPT上下文对话

ChatGPT

上下文对话语料学习

Grok-320万张卡思维链推理GPTOnlyDecoderGPT

Grok-320万张卡思维链推理

GPT

OnlyDecoder