2025《多任务学习方法理论基础概述》1300字.docxVIP

多任务学习方法理论基础概述

多任务学习（Multi-taskLearning，MTL）简单说就是把多个任务放在一起学习。给定多个任务，其中这些任务间是相关但不完全一致的，MTL通过使用一些共享因素将各个相关的子任务联系到一起。在单任务学习时，各个任务的模型空间是相互独立的，互不影响，而在MTL中，多个任务的模型空间是共享的。通过这些任务中的相关特征同时提升各个任务的性能，从而达到更好的泛化能力。文献REF_Re\r\h[40]将MTL分为五类，分别是特征学习方法、低秩方法、任务聚类方法、任务重组学习方法和分解方法。作者认为在MTL中，各个任务都是相关的，因此可以合理的假设不同的任务共享着一个相同的特征表示。这一共享的特征表示是由原始特征产生的，因此基于特征学习的MTL也进而分为两类：基于特征转换的MTL和基于特征选择的MTL方法，下面将分别讨论这两种方法。

1.1基于特征变换的多任务学习方法

基于特征变换的MTL通过学习各个任务原始特征线性或者非线性的转换可以得到多任务可以共享的特征表示，在这个过程中，经过转换的各个特征都与原始的特征不相同了。R.CaruanaREF_Re\r\h[41]使用简单的前馈网络来完成特征转换，其网络结构如图2-6所示。

图2-6基于特征转换的多任务学习网络

Fig.2-6Multi-tasklearningnetworkbasedonfeaturetransformation

从图2-6中可以看出，网络结构与常规任务的前馈网络不同的在于它有多个输出，每个输出对应着一个任务。并且在输入端是将各个任务的特征一起输入到网络中，这样做的目的就是将各个任务的原始特征混合、转换和筛选，在训练的过程中通过隐层的映射得到最适合多个任务的共享特征。类似上图所示的多任务神经网络，许多深层MTL方法假定不同的任务共享前几个隐藏层，然后在后续层中具有特定于任务的参数。与这些深层MTL方法不同，十字绣网络REF_Re\r\h[42]是基于学习的方法来确定不同任务中隐藏层的输入，也就是通过在两个网络的特征层之间增加“十字绣”单元可以使网络自动学习到需要共享的特征。十字绣网络示意图如图2-7所示。

图2-7十字绣网络示意图REF_Re\r\h[42]

Fig.2-7Cross-stitchnetworkdiagramREF_Re\r\h[42]

图2-7是一个结合十字绣单元的多任务网络，两个主干网络是AlexNet，在这个结构上在池化层和全连接层后加上十字绣单元，利用该单元对共享特征进行建模和学习。Long,M.等人提出的用多个线性相关的网络进行多任务学习的方法REF_Re\r\h[43]与十字绣网络类似，其结构如图2-8所示。

图2-8多个线性相关的网络进行多任务学习示意图REF_Re\r\h[43]

Fig.2-8Multiplelinearlyrelatednetworksformulti-tasklearningdiagramREF_Re\r\h[43]

通过图2-8我们可以看出，该网路结构在AlexNet的结构上将卷积层和第一个全连接层作为共享层，利用后续的全连接层来突出任务特定性。该网络基于张量正态先验来学习任务关系。通过共同学习可转移特征和任务与特征的多线性关系，MRN可以缓解特征层负转移和分类器层转移不足的困境。

1.2基于特征选择的多任务学习方法

不同于特征转换的方法，基于特征选择的方法是从所有原始特征中过滤掉无用特征，选择出对模型最有用的那部分特征，这部分保留的特征和原始特征是相同或相似的。基于选择的方法是基于转换的方法的特例，如果我们对每个特征赋予一个转换权重，在基于变换的方法中这个权重就是除1以外的值，而在基于特征选择的方法中权重就是0或者1。对于如何选择特征有很多种方法，较为常用的是在训练过程中利用lp,q范数使特征具有稀疏性，从而实现特征选择。特征的权重矩阵记为W，其中wi为矩阵的第i行，则权重矩阵的lp,q

W

ObozinskiREF_Re\r\h[44]等人在目标函数中引入了lp,q范数从而使权重矩阵是行稀疏的，进而完成了重要特征的保留，具体形式表示为式(2-4)。

min