文科生听懂大模型（1.0）.pptxVIP

2025年2月/南京

文科生听懂大模型

DemystifyingLargeModels：

AnAccessibleCourseforLiberalArtsStudents

我们的课程就讲这一张图

【第一课】

Transformer架构

【引子2】

Transformer

输入和输出

【引子1】

神经网络

课程目录

PARTONE

【引子1】

神经网络

01【引子1】神经网络

神经网络是什么？为什么神经网络能产生智能？

1）任何事物都能被数字化。

2）任何复杂的函数都可以被神经网络表达，哪怕没有显示解析式。

权重是神经元用来衡量输入信号重要性的参数。每个输入信号都有一个对应的权重，权重越大，这个信号对最终输出的影响就越大。

偏置是一个常数项，用来调整神经元的输出。它的作用是让神经元在没有输入信号时也能有一个基础的输出值。偏置可以帮助神经元更容易地被激活或抑制。

激活函数是神经元用来决定是否将信号传递下

去的“开关”。它将神经元的加权输入（权重×输入+偏置）转换为一个非线性的输出。激活函数的作用是引入非线性，让神经网络能够处理复杂的任务。

神经网络基本原理

神经元概念解释

权重(Weight)，偏置(Bias)，激活函数（ActiveAction）

神经网络基本原理

梯度、反向传播的几个概念解释

学习率的理解（/）

梯度是一个向量（是损失函数在每个变量上的偏导数构成），损失函数的正梯度是往损失函数变大方向走，负梯度是往损失函数变小方向走。

详解梯度

AutoEncode

AutoEncoder是一个利用学习一个F(x)→x的函数，一层层压缩得到目标信息的一个压缩表示（见图3）

受限玻尔兹曼机

防止过拟合

L1/L2正则化，通过在损失函数中添加正则化项来限制参数的大小。

Dropout，随机放弃神经元参与计算，以减少模型对特定神经元的依赖。

停止训练，当验证集性能不再提升时停止训练。

数据多样化

用这个方式来调整参数（加或者减）来逐步降低训练误差。

AutoEncode训练过程

训练误差降低是让模型提高的关键。

训练误差Error

AutoEncode

AutoEncode能干什么？

Embedding，人脸识别，手写识别

/nn_vis/cnn/3d.html

PARTTWO

【引子2】

Transformer架构的输入输出

宏观理解Transformer架构

绿框中是编码器，红框中是解码器。

机器翻译的训练和推理中，绿框和红框都会用到。

训练的样例类似：

startIlovemachinelearningend

bos我爱机器学习eos

startIlovemachinelearningend,bos→我

startIlovemachinelearningend,bos我→爱

startIlovemachinelearningend,bos我爱→机器

startIlovemachinelearningend,bos我爱机器→学习

startIlovemachinelearningend,bos我爱机器学习→eos

02【引子2】Transformer架构

宏观理解Transformer架构

绿框中是编码器，红框中是解码器。

GPT的训练中，只有红框会用到，是纯解码器结构。

训练的样例类似：

bos我爱机器学习eos

bos→我

bos我→爱

bos我爱→机器

bos我爱机器→学习

bos我爱机器学习→eos

PARTTHREE

【第一讲】

Embedding

03Embedding

什么是Embedding？

在Transformer架构中，

输入嵌入(InputEmbedding)

是词嵌入(TokenEmbedding)和位置编码(PositionalEncoding)的结合。

以下以句子

ilovemachinelearning

为例，逐步说明输入嵌入的具体形式(假设使用简化的4维向量演示)。

什么是Embedding？

在Transformer架构中，

输入嵌入(InputEmbedding)

是词嵌入(TokenEmbedding)和位置编码(PositionalEncoding)的结合。

以下以句子

ilovemachinelearning

为例，逐步说明输入嵌入的具体形

式(假设使用简化的4维向量演示)。

03Em