深度学习 课件全套 第1--12章 深度学习基础-- 大模型.pptx

第一章深度学习基础

第一节深度学习应用;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;第二章全连接网络

第一节网络结构;;;;;;;;;;sigmoid激活函数;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;第三章卷积网络

第一节卷积层;从全连接到卷积

全连接网络适合处理表格数据，其中行对应样本，列对应特征

表格数据更适合建模特征之间的交互

当数据中有先验结构时，全连接网络可能不适合

示例：图像数据由二维像素网格组成，将图像数据展平成一维向量，再将数据送入一个全连接网络

忽略了每个图像的空间结构信息，即左右相邻像素之间的相关性

卷积网络是一种专门用来处理具有类似网格结构的数据的神经网络

能够更好地处理数据中的空间结构

示例：图像

卷积神经网络的核心思想是利用卷积操作来提取输入数据的特征，它由多个卷积层、池化层和全连接层组成;卷积运算示例

输入数据为4×4大小的矩阵，卷积核为2×2大小的矩阵，输出为2×2大小的矩阵。一般使用（宽度，高度）表示输入数据、卷积核和输出数据的大小。在本示例中，输入特征图大小为(4,4)，卷积核和输出特征图大小为(2,2)。;下图为步幅等于1的卷积运算结果，其中卷积核大小为2×2，输入特征图大小为5×5，输出特征图大小为4×4，输出特征图左上角元素0为输入特征图左上角2×2区域的四个元素(0，0，0，0)与卷积核的卷积运算结果；将窗口向右移动一个元素，得到由元素(0，0，0，1)构成的2×2区域，与卷积核做卷积运算，即0×0+0×1+0×2+1×3，得到输出特征图第一行第二列的元素为3，以此类推，可以得到输出特征图的其它元素。步幅大小影响输出特征图的大小，一般而言，步幅越大，输出特征图越小。

;?;3.1.1卷积网络：PyTorch实现;卷积的三个重要思想

局部连接

权重共享

平移不变性;每个输出神经元只与输入数据的一个小区域相关，而不是与整个输入数据相关，即每个输出神经元只与部分输入神经元相连接，我们称该特性为局部连接。

当卷积核远小于输入时，输出和输入之间的连接是稀疏的

与全连接网络的全连接层相比，局部连接可以大幅减少网络的参数量，从而降低模型的训练难度，提高模型的泛化能力;卷积网络中，输出与输入之间的卷积映射对所有输出共享相同的参数，即每一层只使用一个卷积核

以识别图像中的鸟为例，可以将卷积核看作是过滤器，使用该过滤器扫描图像的每个区域，检测是否有鸟嘴、鸟爪等显著特征。过滤器的参数不随扫描区域的变化而变化

权重共享减少网络的参数量

降低网络的训练难度

降低模型复杂度，防止过拟合，提高模型泛化能力;平移不变性是指当输入数据发生移动时，卷积操作的输出也会相应地移动

等变表示：先卷积，再移动=先移动，再卷积

当图像发生平移变换，卷积后的特征图也发生对应的平移变换

以识别图像中的鸟为例，鸟嘴可能位于图像的不同位置，但不管位于什么位置，我们都希望卷积核可以对其正确识别

;在数学中，两个函数之间的“卷积”被定义为一种积分变换

卷积运算通常用星号表示

在卷积神经网络的术语中，第一个参数（在这个例子中，函数f）叫做输入，第二个参数（函数w）叫做卷积核，输出有时被称作特征映射

表示函数f和g的“叠加”程度

在深度学习中，我们通常使用离散卷积而不是连续卷积

作为一种强大的数学工具，卷积在深度学习领域具有广泛应用，它可以帮助我们从数据中提取有用的特征，并减少计算量

;;上一节主要介绍了基本卷积运算，除此之外，针对不同任务会有其它类型的卷积相匹配。本小节将介绍几种典型的卷积：

转置卷积

空洞卷积

分组卷积

可分离卷积;定义：转置卷积，又称反卷积或上采样卷积，通常用于将特征图恢复到原始输入大小，或者将特征图从低分辨率映射到高分辨率，后者称为上采样。;转置卷积工作原理：

与标准卷积类似，但在进行卷积操作之前需要对输入数据进行填充。

如图所示,原始输入特征图大小为2×2，填充之后，将特征图扩大到6×6，然后与3×3大小的卷积核进行卷积运算，其中步幅设置为1，得到4×4大小的输出特征图。因此，转置卷积将2×2大小的输入特征图转化为4×4大小的输出特征图，从而完成上采样。在与卷积核进行卷积运算时，转置卷积首先需要对卷积核进行转置，即翻转180度，转置卷积中的卷积核一般是上一层中进行标准卷积运算的卷积核。;转置卷积应用场景：;转置卷积：PyTorch实现;定义：空洞卷积通过在卷积核中插入空洞或在输入特征图中加入跳跃的采样间隔来扩展卷积操作的感受野，而无需增加额外的参数量。感受野可以理解为卷积核能够覆盖的区域范围。;空洞卷积的优缺点;空洞卷积：PyTorch实现;定义：分组卷积是指将输入