斯坦福大学：大语言模型（LLM）简介（中文版）.docx

大型语言模型

大型语言模型

大型语言模型简介

语言模型

?还记得简单的n元语言模型吗

?给单词序列分配概率

?通过对可能的下一个单词进行采样来生成文本?根据从大量文本中计算出的计数进行训练

?大型语言模型既相似又不同:

?给单词序列分配概率

?通过对可能的下一个单词进行采样来生成文本?通过学习猜测下一个单词来训练

大型语言模型

?即使只通过预训练来预测单词

?学到很多有用的语言知识

?因为训练了大量的文本

大型语言模型的三种架构

编码器伯特一家，

编码器

伯特一家，休伯特

编码器-解码器

Flan-T5，小声点

GPT，克劳德，

美洲驼混合的

编码器

品种多！

?流行:掩蔽语言模型(MLMs)

?伯特家族

?通过从两边的周围单词预测单词来训练

?通常被微调(在监督数据上训练)用于分类任务。

编码器-解码器

?被训练从一个序列映射到另一个序列

?非常受欢迎:

?机器翻译(从一种语言映射到另一种语言)

?语音识别(从声音到文字的映射)

大型语言模型

大型语言模型

大型语言模型简介

大型语言模型

大型语言模型

大型语言模型:它们能完成什么任务？

好主意

很多任务都可以变成预测单词的任务！

本次讲座:纯解码器模型

也称为:

?因果LLM

?自回归LLMs

?从左到右线性最小二乘法

.)由用户下载日期2025

.)由用户下载日期2025

条件生成:根据以前的文本生成文本！

完成文本

变压器块编码器全部l

变压器块

编码器

全部

lSoftmaxiii

逻辑——

未编码层UU

A

…

…

+

E

+

E

+

E

+E

我我我我我我我

+

E

语言建模头

+

E

+

E

这

全部这因此长的和谢谢为

全部

这

前缀文本

很多实际的NLP任务都可以铸为单词预测！

情感分析:《我喜欢成龙》

1.我们给语言模型这个字符串:“我喜欢成龙”这句话的情绪是:

2.看看它认为下一个单词是什么:

p(正|句子‘我喜欢成龙’的情绪是:)

p(负|句子‘我喜欢成龙’的情绪是:)

将大量任务框架化为条件生成

问答:“物种起源是谁写的”

1.我们给语言模型这个字符串:

问:谁写了《物种起源》这本书？答:

2.看看它认为下一个单词是什么:

《物种起源》这本书是谁写的？答:)

3.并迭代:

《物种起源》这本书是谁写的？查尔斯)

摘要

唯一比被大雪困住的马萨诸塞州的一个家伙把粉状的白色东西装箱并在网上出售更疯狂的事情是什么？人们实际上正在购买它。他说，售价89美元，自封的企业家凯尔·韦林(KyleWaring)将把6磅波士顿地区的雪装在一个绝缘的聚苯乙烯泡沫塑料盒子里寄给你，足够10到15个雪球了。

原创但如果你住在新英格兰或周围的州，就不是这样了。我们不会运送雪到东北的任何州！沃林的网站ShipSnowY如是说。我们在从事除雪工作！

原创

他的网站和社交媒体账户声称已经完成了超过133份雪花订单——仅周二一天就超过30份，这是他最忙的一天。总厚度超过45英寸，波士顿今年冬天创下了历史上降雪最多的月份的记录。大多数居民把堵塞他们院子和人行道的大堆积雪视为讨厌的东西，但韦林看到了机会。

据B说，这一切都是从几周前开始的，当时韦林和他的妻子正在波斯顿北部沿海郊区曼彻斯特的院子里铲积雪。他开玩笑说要把这些东西运送给温暖的州的朋友和家人，于是一个想法诞生了。[...]

摘要

凯尔·韦林会把6磅波士顿地区的雪装在一个绝缘的泡沫聚苯乙烯盒子里寄给你——足够10到15个雪球，他说。但如果你住在新英格兰或周围的州，就不是这样了。

用于摘要的LLM(使用TL；博士)

生成的摘要

狭海峡将华林（一数学问题）

狭海峡

将

…

LM磁