2025《多任务学习方法相关理论基础概述》5000字.docxVIP

多任务学习方法相关理论基础概述

目录

TOC\o1-3\h\u29979多任务学习方法相关理论基础概述 1

199171.1卷积神经网络 1

110171.2多任务学习方法介绍 5

216421.2.1多任务学习方法 5

283791.2.2多任务学习任务训练过程 7

30971.2.3多任务学习方法的优点 8

76071.3深度学习相关理论 9

253501.3.1学习率 9

169111.3.2Adma优化器 9

327061.3.3softmax分类器 9

161781.3.4激活函数 10

1.1卷积神经网络

卷积神经网络（ConvolutionalNeuralNetworks,CNN）[18]是一种多层的监督学习神经网络，主要有五个部分组成，分别是：输入层，卷积层，池化层，全连接层和输出层。每一层的多个特征图都从卷积滤波器提取到输入的一种特征，每个特征图都有多个神经元。卷积层和池化层是实现卷积神经网络特征提取功能的核心模块。卷积神经网络通常可以用梯度下降法将损失函数最小化来对网络中的权重参数逐层进行反向调节，并且进行多次迭代训练提升网络的精度。卷积层和最大池化层交替组成了卷积神经网络的低隐层，而高层是全连接层对应传统多层感知器的隐含层和逻辑回归分类器。在最后的输出层采用逻辑回归函数对所输入的图像进行分类。卷积神经网络的基本框架如图2-1所示。

图2-1卷积神经网络基本框架

Fig.2-1Basicframeworkofconvolutionalneuralnetwork

在图2-1中，层为特征提取层，输入的每个神经元与前一层的局部感受相连，并提取该局部的特征，当该局部特征被提取时，它与其他特征间的位置关系也是确定的；层是特征映射层，每个计算层有多个特征映射，每个特征映射为一个平面，平面上所有神经元的权值相等。此外，由于一个映射面上的神经元共享权值，因而使网络自由参数的个数减少，网络参数选择的复杂度降低。卷积神经网络中的每一个特征提取层层连接的都是用来求局部平均与二次提取的计算层层，这种特有的两次特征提取结构使网络在识别时对输入样本的容纳能力有所提高。

下面分别介绍卷积神经网络每一层的作用与功能。

（1）输入层：用于输入数据，若输入为图像，则输入数据为像素值。

（2）卷积层：是特征提取层，用于对输入数据进行卷积操作。这一层由多个卷积核组成，构建不同的特征图像，每一个特征图的多个神经元都和前一层相对应区域连接，并且每一特征图通过一种卷积核提取前一层的特征。卷积层的卷积核数越多，能够提取到的输入数据的特征就越多。

卷积最主要的作用是在卷积核上根据相应的步长使用滑动窗口逐步提取上一层输入层的图像特征。卷积核的每个参数均与对应的局部像素相连接，卷积层经过计算得出的输出值即为卷积核的各个参数与各自对应的局部像素的像素值的乘积累加的结果。

在卷积神经网络中常用到的二维卷积公式[18]为：

（1.1）

其中为卷积网络的输入信号，为卷积核，为卷积核的偏置，为所求特征对应原图像的位置，当输入信号为多维矩阵时，其对应的卷积核也是多维的,公式[18]如下：

(1.2)

其中为输入图像矩阵的维数，和代表第层的输入矩阵和对应的卷积核。

如下图2-2所示为一个二维卷积操作过程。

图2-2二维卷积操作示意图

Fig.2-2Schematicdiagramoftwo-dimensionalconvolutionoperation

CNN对于输入的图像数据无法准确将特征与原图对应的部分相匹配，为了实现准确的匹配，CNN会将特征转化为过滤器尝试匹配图像中所有可能的位置，此过程称为卷积。卷积神经网络的卷积操作属于离散卷积，卷积运算表达式如下：

(1.3)

其中为卷积结果序列，为卷积序列长度。

（3）池化层：是特征提取层的第二部分，也叫采样层，它的主要功能是在保留有用信息的基础上减少数据的处理量，加快训练网络的速率。一般的卷积神经网络至少包含二层卷积层，层数越多，在前一层卷积层基础上能够提取到的特征会更加抽象。

池化层一般采用非线性的下采样方法对网络特征图进行尺寸的缩小，根据图像相对不变性的原理，聚合统计图像相邻的特征信息。采样后，输入特征与输出特征的数目不会改变，但是输出特征的大小与输入特征相比会大幅减少。同时，还能在一定程度上降低网络的过拟合程度，改善网络的性能。

目前常用的下采样方法主要有三种，分别是均值[19]、最大值[20]和随机下采样[21]。最大值采样