2026《深度学习基本理论基础综述》7200字.docxVIP

PAGE

PAGE1

深度学习基本理论基础综述

目录

TOC\o1-3\h\u28915深度学习基本理论基础综述 1

90011.1卷积神经网络基本原理 1

119741.1.1卷积层 2

88061.1.2池化层 4

196001.1.3激活层 5

96361.1.4全连接层 7

80961.1.5损失函数 8

159211.2卷积神经网络的训练方法 9

103381.1.1前向传播算法 9

55881.1.2反向传播算法 10

41901.3卷积神经网络优化方法 13

1.1卷积神经网络基本原理

人工神经网络的结构是，数据从输入层到隐层再到输出层，均是通过全连接的方式进行，这会导致模型参数计算量过大。在现代的数据分析中，数据量往往是几十万甚至是上百万量级的，用这样的数据量去训练模型，往往会导致人工神经网络的泛化能力低，效果不理想，此外还容易导致网络出现过拟合等其他问题。而卷积神经网络则不然，卷积神经网络各层之间不采用全连接的方式，而是采用局部感知的方式。具体来说，一个完整的卷积神经网络包含输入层、卷积层、池化层、激活层以及全连接层，如图2-1所示（图2-1出自斯坦福CS231课程）。目前研究的卷积神经网络一般可以输入以下几种数据：第一种，一维数据，也就是通常的时间采样或者是频域采样数据。第二种，二维数据，通常是灰度图像数据或者是包含三通道的彩色图像数据。第三种，三维数据，一般情况下是视频数据。由于卷积神经网络应用于图像的处理最为普遍，因此基于二维数据的卷积神经网络最为常见。一般情况下，网络的输入特征需要进行归一化处理，比如将分布在[0，255]的原始像素值归一化至[0,1]区间内。输入特征标准化有助于提高卷积神经网络的学习效率和性能。卷积神经网络是通过卷积核在前一层的特征图(featuremap)上面做卷积来提取相应的特征，这样的特征具有局部感受野。然后将特征图送到激励层，不同的激励函数可以把线性特征做一定程度的非线性映射。

图2-1卷积神经网络一般结构图

再通过池化层达到降低特征维度的功能。最后将各个具有局部感受野的特征层用全连接层连接起来送到Softmax分类器中进行定位和分类。卷积神经网络相对于神经网络而言，最大的区别便是局部感受野和权值共享。传统的神经网络是每一个神经元连接所有图像区域。举例来说，假如说一幅图像的尺寸是512×512×3，那么第一个神经元的权重参数就有512×512×3=786432个。很显然对于一幅图像而言，不可能只有一个神经元。对于多个神经元而言，由于权重计算量过于庞大且权重没有共享，导致计算速度缓慢，往往容易使得神经网络出现过拟合等现象。

普通的神经网络只能针对小尺度低分辨率图像，对于高分辨率、大尺度图像缺点很明显，而卷积神经网络则解决了这个问题。对于512×512×3这样的一幅图像，一般将它视为长为512，宽为512，深度为3的一幅图像。卷积神经网络不感受全局图像，而是进行局部感知。其利用较小的卷积核，如大小为3×3的卷积核对图像进行分块感知。而利用一个相同的神经元对整幅图像的不同区域进行感知，这便是卷积神经网络的权值共享。通过在最后一层添加全连接层，把特征图变成一维向量，输入到SVM或Softmax分类器中，从而完成最终的检测识别。

通过对网络结构的不断学习和训练，利用卷积神经网络提取的深度特征就会更加丰富。接下来将对上述提到的卷积层、池化层，全连接层等相关部分进行详细介绍。

1.1.1卷积层

一般提到卷积，大多数情况下可能会想到微积分中的卷积。但实际上图像中的卷积计算方法和微积分中的卷积不完全一样。在进行卷积运算的过程中，会预先设置一个卷积核(ConvolutionalKernel)或者是称为过滤器(Filter)的滑动窗口，大小一般会设置为M×M(M为正整数，窗口的大小也被称为感受野)。每一个卷积核的维度和进入输入层数据的维度都是一致的。卷积核的数量也是可以被调整的。卷积操作中除了可以设置卷积核的数量和窗口大小之外，最重要的便是补零操作(Padding)和卷积步长(Stride)的设置。

补零操作的主要作用有两个：一方面可以让卷积核多次覆盖特征图的边缘信息，防止边缘信息中有重要内容被漏，另外一方面可以使得图像尺寸一致。Padding的操作一般为对矩阵的四周补零。如果只是补了一圈零，则Padding=1，简写为P=1。如图2-2所示。

图2-2对不规则特征矩阵进行Padding=1的补零

卷积核在进行卷积运算时，每次滑动固定的距离对感受野中的特征进行点积运算。每次卷积核滑动的距离被称为步长Stride，一般记为S。图2-3中实线框为第一