斯坦福大学：大语言模型（LLM）简介（中文版）.pdf

大型语言模型

大型语言模型简介

语言模型

•还记得简单的n元语言模型吗

•给单词序列分配概率

•通过对可能的下一个单词进行采样来生成文本

•根据从大量文本中计算出的计数进行训练

•大型语言模型既相似又不同:

•给单词序列分配概率

•通过对可能的下一个单词进行采样来生成文本

•通过学习猜测下一个单词来训练

大型语言模型

•即使只通过预训练来预测单词

•学到很多有用的语言知识

•因为训练了大量的文本

大型语言模型的三种架构

解码器编码器编码器-解码器

GPT，克劳伯特一家，Flan-T5，小声点

德，休伯特

美洲驼

混合的

编码器

品种多！

•流行:掩蔽语言模型(MLMs)

•伯特家族

•通过从两边的周围单词预测单词来训练

•通常被微调(在监督数据上训练)用于分类任

务。

编码器-解码器

•被训练从一个序列映射到另一个序列

•非常受欢迎:

•机器翻译(从一种语言映射到另一种语言)

•语音识别(从声音到文字的映射)

大型语言模型

大型语言模型简介

大型语言模型

大型语言模型:它们能完成什

么任务？

好主意

很多任务都可以变成预测单词的任务！

本次讲座:纯解码器模型

也称为:

•因果LLM

•自回归LLMs

•从左到右线性最小二乘法

•从左到右预测单词

条件生成:根据以前的文本生成文本！

完成文本

全部这

语言建模头

Softmax

逻辑

未编码层U

U

变压器块……

编码器

+我+我+我+我+我+我+我

EEEEEEE

因此长的和谢谢为全部这

前缀文本

很多实际的NLP任务都可以铸为单词预测！

情感分析:《我喜欢成龙》

1.我们给语言模型这个字符串:“我喜欢成

龙”这句话的情绪是:

2.看看它认为下一个单词是什么:

p(正|句子‘我喜欢成龙’的情绪是:)

p(负|句子‘我喜欢成龙’的情绪是:)

将大量任务框架化为条件生成

问答:“物种起源是谁写的”

1.我们给语言模型这个字符串:

问:谁写了《物种起源》这本书？