大语言模型（LLM）在量化金融中的应用展望.docx

1大语言模型的特点与功能

1.1LLM的基础原理

近期随着OpenAI的GPT-4模型发布、百度文心一言发布、微软Copilot

发布，大语言模型(LLM,LargeLanguageModel)成为市场关注焦点。对于

AI模型运用较多的量化金融领域，LLM将会带来怎样的改变?本报告将从各个角

度进行LLM在量化金融领域应用的展望。

在展望未来应用之前我们首先以GPT模型为例简要解释LLM的基础原理。

2023年3月16日，OpenAI发布了GPT-4的技术报告，其中用一句话来介绍

GPT-4即：GPT-4是一个基于预训练的Transformer模型，用于预测某一文本

的下一个字词(tokenk也就是说GPT-4是一个给定上文推测下文(单词)的神

经网络。同时，相比于GPT的早期版本，GPT-4的输入拓展到了图片。

图1:GPT-4的基本功能

资料来源：绘制

那么GPT-4是如何通过预测下个单词来达成回答一段话的功能的?主要是将

生成的单词重新加回到上文中作为新的输入，使得模型继续生成下一个单词，循

环往复达到回答一段话的功能(称为AutoregressiveLM,自回归语言模型),类

似我们在使用智能输入法的过程中，输入法给出的对下一个单词的不断预测。其

基础模型Transformer来自2017年谷歌在NIPS上提出的论文“Attentionisall

youneed”。其克服了传统序列推导模型(Sequencetransductionmodel)采

用RNN时面临的问题，成为了解决此类问题新的通用模型。

如果GPT-4仅仅是根据上文“猜”下文，其又是如何产生逻辑性的?我们知

道GPT-4模型不仅可以进行简单的对话聊天，还可以实现指令识别、总结、推断、

模仿等一系列更为高级的智能。甚至还可以在人类知识水平测试中达到与普通人

类似的水准。那么这些智能是如何通过大语言模型训练得到的?

图2:GPT模型在人类知识水平测试中的表现(分位数下限)

GPT-4TechnicalReport

图β:GPT-4的“看图做物理题”

UserAnswerquestionL.I.a.Thinkstep-by-step.

L.Mit

r-=

#

超学

GPT-4

ToanswerquestionL.Ia,weneedtoexpressthetemperatureT(r)ineverypointoftheconductivebar,whichischaracterizedbytheabscissax.WearegiventhatT(0)=TOandT(L)=Tb

Forastationary,regime,theheatequationfortheone-dimensionalheat

conductioninthebaris:

dT/dr2=0

Integratingonce,weget:

dT/dr=C

Integratingasecondtime:

T(x)=C?x+C

TodeterminetheconstantsC;andCz,weusetheboundaryconditions:T(0)=70,whichgivesC?=TO

T(L)=Tb,whichgivesC?=(Tb-T0)/L

Finally,theexpressionforT(x)is:

T(x)=(Tb-T0)·(x/L)+T0

Thisrepresentsalineartemperatureprofilealongtheconductivebar,withaslope

of(Tb-TO)/L.

GPT-4TechnicalReport,

第一个重要的原因在于超大量样本训练带来的智能涌现。语言是人类知识传

承的载体，语言中本身蕴含着人类指令识别、总结、推断、模仿的行为，通过大

规模样本的输入和训练，量变引起质变导致GPT学会了部分逻辑，称为Scaling

law,也被解读为“涌现”现象。“涌现