2026《经典卷积神经网络与迁移学习理论基础综述》4200字.docxVIP

经典卷积神经网络与迁移学习理论基础综述

目录

TOC\o1-3\h\u27581经典卷积神经网络与迁移学习理论基础综述 1

314331.1引言 1

177261.2卷积神经网络（CNN）概念 2

263721.1.1卷积层 2

16511.1.2池化层 3

167171.1.3激活函数 3

38351.1.4Dropout层 5

36291.1.5全连接层 5

284341.3经典卷积神经网络 6

111041.3.1VGG16 6

108011.3.2InceptionV3 7

316261.3.3ResNet50 8

24241.4迁移学习 12

1.1引言

在绪论中对番茄病害图片的研究背景和研究意义进行了介绍，确定了本文的研究的内容。在本章中对卷积神经网络的相关理论技术进行了简要说明，按照研究内容分别介绍了四种经典卷积神经网络以及迁移学习方法，为之后的研究提供基础理论支持。

1.2卷积神经网络（CNN）概念

CNN47]这个概念第一次出现是在LeNet网络，1989年，由LeCun、BottouL等人提出。在对手写体的数字图像的识别上，该网络取得了巨大的成功。CNN由卷积层和组成，它还包括特殊的网络层，例如相关权重和激活函数。作为CNN的核心，卷积运算和池化操作也是本小节介绍的重点。如图2-1所示，卷积神经网络能够有效地将大数据量的图像进行降维，使其变小，同时能够保存图像的重要特征。

图2-1卷积神经网络基本结构

1.1.1卷积层

卷积层由多个大小不同卷积单元组成，每个大小不同的卷积单元通过卷积运算可以得到样本中的某维特征。若是某个特征图（）与卷积核进行卷积后的值较大，则可以认为此特征图十分接近于此卷积核，此计算过程关乎到卷积单元三个因素，即大小、个数和步长。

卷积核的个数与特征图的个数一致。卷积核的个数多少对最终识别效果会产生直接且重要的影响，当数目比较小时，特征图的数目也比较小，最终导致学习的特征空间小。当卷积核的数目过多时，导致网络所消耗的计算资源倍增。卷积核的大小对特征图的大小可以说是起着绝对性的作用，另外，其步长也直接关乎所学习到的特征数目，举例来讲，当输入图像尺寸为，输出的特征图大小为，则特征图的计算公式如2-1所示。其中代表补零个数，代表步长，代表卷积核的大小，为卷积核的数目。

卷积操作的直观示意图2-2如下所示：

图2-2卷积操作示意图

1.1.2池化层

池化层的最重要的功能是减少网络的数据空间。池化方式包括两类，一类是最大池化()，而另一类是平均池化()。池化操作的作用在于降低运算后数据空间的复杂度，同时减少参数的数量，这样就极大地促进了网络之间的联系，在一定程度上起到了抑制过拟合的作用。

图2-3显示了最大池化和平均池化的运算过程。

图2-3平均池化与最大池化运算图

1.1.3激活函数

在神经网络中，前面神经元的输出可以作为后面神经元的输入。这样，在多层网络中，前面神经元的输出和后面神经元的输入就会满足一定的关系，我们称之为激活函数。

若是无视激活函数（这样激活函数可被视为），就会导致一个问题，即输出都是由输入简单线性组合而成，即无所谓有没有隐藏层，那么网络的逼近能力就会受到一定的限制。正因如此，才要引入激励函数，只有这样，深层神经网络才能不再是从而实现对任意函数逼近的功能，这样才能获得更大的表达能力。

很早以前，对神经网络进行研究主要采用的是函数或者函数，近些年函数及其改进型（如、、等）等）广泛应用于多层神经网络。

（1）Sigmoid函数

作为一种常用的激活函数，函数数学表达式如2-2所示：

Sigmoid的几何图像如图2-4所示：

图2-4Sigmoid激活函数图

Sigmod函数将输入映射到（0，1）区间，其导数关于y轴对称。但函数仅适合用于前向传播，运算相对耗时，收敛速度比较慢且可能导致梯度消失。

（2）Tanh函数

Tanh函数取值在（-1，1）的区间内，如公式2-3所示：

Tanh函数如图2-5所示：

图2-5Tanh激活函数图

在特征相差明显的情况下，函数效果极好，因均值为0，避免了函数的非零中心的问题，但函数中由于大量的e的次方的存在，可能会导致计算时间较长。

（3）ReLU函数

ReLU是为了解决和饱和性问题而新提出的一种激活函数。其公式如2-4所示：

从图2-6中看出，ReLu函数的取值范围是[0,+∞]。当??0时，ReLU函数的导数是1，可以使网络中的梯度消失现象得到缓解。当??0时，ReLU函数的导数是0，会使得一部分神经元的满足输出为0的条件，这种情况被称为神经元死亡，进而使网络呈现稀疏化，使得网络各个神经元