利用LLM一站式优化投研工作：从数据、文本到观点.pdfVIP

内容要点：

•大语言模型（LLM）简介

•LLM模型优化日常工作效率

•LLM模型赋能金融投研

•风险提示

2请务必阅读正文之后的信息披露和法律声明

大大大大语言模型语语语言言言模模模型型型((((LarLLLaaarrrggggeeeeLLLLanguaaannnggguuuaaaagegggeeeMMMModooodddeeeel,lll,,,LLM)LLLLLLMMM)))

2018年Google和OpenAI分别提出了BERT和GPT-1模型，

开启预训练大语言模型时代。

表：语言模型的发展历程简介

语言模型模型简介与特点

•基于统计方法——单词序列的概率分布，如N-gram模型。

统计语言模型

•模型简单但受限于固定上下文长度。

神经网络语言模型•通过输入前面的n−1个词来预测当前词。

（2003）•词的独热编码被映射为一个低维稠密的实数向量。

Word2Vec•模型结构和NNLM基本一致，通过无监督方式学习语义知识。

（2013）•训练目标为获得WordEmbedding。

•使用LSTM作为编码器，自动地根据词语的上下文信息去动

ELMO态调整词语的词向量。

（2018）

•开启了语言模型预训练的大门。

•基于Transformer结构的模型，相比其它深度神经网络的参

BERT和GPT-1数量有数量级上提升。

（2018）

•通常采用预训练微调范式，开启了预训练语言模型时代。

资料来源：海通证券研究所3请务必阅读正文之后的信息披露和法律声明

大大大大语言模型语语语言言言模模模型型型((((LarLLLaaarrrggggeeeeLLLLanguaaannnggguuuaaaagegggeeeMMMModooodddeeeel,lll,,,LLM)LLLLLLMMM)))

2018年Google和OpenAI分别提出了BERT和GPT-1模型，

开启预训练大语言模型时代。

表：基于Transformer结构的语言模型分类

模型结构特征

全称：BidirectionalEncoder

RepresentationsfromTransformers

纯Encoder模型

训练：掩码语言模型

(BERT-Style)

模型类型：判别型

预训练任务：预测被掩盖的词

全称：GenerativePre-trainedTransformer

纯Decoder模型训练：自回归语言模型

(GPT-Style)模型类型：生成型