斯坦福大学：大语言模型（LLM）简介（中文版）.pptx

大型语言模型

大型语言模型简介

语言模型

•还记得简单的n元语言模型吗

•给单词序列分配概率

•通过对可能的下一个单词进行采样来生成文本

•根据从大量文本中计算出的计数进行训练

•大型语言模型既相似又不同:

•给单词序列分配概率

•通过对可能的下一个单词进行采样来生成文本

•通过学习猜测下一个单词来训练

大型语言模型

•即使只通过预训练来预测单词

•学到很多有用的语言知识

•因为训练了大量的文本

大型语言模型的三种架构

解码器编码器编码器-解码器

GPT，克劳伯特一家，Flan-T5，小声点

德，休伯特

美洲驼

混合的

编码器

品种多！

•流行:掩蔽语言模型(MLMs)

•伯特家族

•通过从两边的周围单词预测单词来训练

•通常被微调(在监督数据上训练)用于分类任

务。

编码器-解码器

•被训练从一个序列映射到另一个序列

•非常受欢迎:

•机器翻译(从一种语言映射到另一种语言)

•语音识别(从声音到文字的映射)

大型语言模型

大型语言模型简介

大型语言模型

大型语言模型:它们能完成什

么任务？

好主意

很多任务都可以变成预测单词的任务！

本次讲座:纯解码器模型

也称为:

•因果LLM

•自回归LLMs

•从左到右线性最小二乘法

•从左到右预测单词

.)由用户下载日期2025

条件生成:根据以前的文本生成文本！

完成文本

全部这

语言建模头

lSoftmaxiii

逻辑——

未编码层UU

A

变压器块…