基于张量的高阶迁移学习模型研究.pdf

摘要

随着人工智能领域技术的飞速进步，计算资源有限以及计算需求激增这一矛

盾成为制约人工智能技术发展的关键瓶颈。由于客观环境条件的限制，部分数据集

存在着样本量较少以及缺少标签等问题，而这也将影响模型的训练时间以及最终

的训练效果。迁移学习的出现为解决这一矛盾提供了一种全新的思路，即利用两个

任务之间的相似性，将源域任务中的数据，特征，模型，参数等相关要素迁移到目

标域任务中，从而为目标域任务提供一个更高的起点，既减少了新任务训练的用时，

也能提高新任务的训练效果。

同时，当前数据集内的单个样本数据也呈现着向着多阶多维发展的趋势。而基

于张量表示的方法，可以很好地保留数据不同维度间的空间特征等优势，被广泛运

用于对多阶多维数据的特征分析以及特征提取中。因此，张量分解也开始与迁移学

习相结合用于提取多阶多维数据集中需迁移的要素。

首先，本文将基于特征的迁移学习扩展到高阶上，提出了多属性动态分布自适

应（Multiattribute-DynamicDistributionAdaptation,MDDA）算法，使得数据样本各

属性间的空间特征在迁移中得到保留。接着，为解决基于特征的迁移学习训练时间

较长的问题，开发了张量动态分布自适应（Tensor-DynamicDistributionAdaptation,

TDDA）算法。其通过结合张量的计算体系，缩小各阶上需求解的特征变换矩阵的

规模，从而在略微减少训练精度的同时大幅降低了训练的时间。

其次，通过将基于模型的迁移学习中的预训练-迁移模型用于MDDA算法和

TDDA算法的训练过程中，完成了对两者的分类器的优化，从而完善了整个基于张

量的高阶迁移学习的框架。

最后本文在手写体图像识别数据集和Office-31对象识别数据集等常用的迁移

学习数据集上分别进行了实验，并与其他常见的迁移学习方法进行对比与分析，从

实验的角度验证了算法的有效性。

关键词：张量分解，迁移学习，领域自适应，预训练模型

ABSTRACT

Withtherapidprogressoftechnologyinthefieldofartificialintelligence,the

contradictionbetweenlimitedcomputingresourcesandsurgingcomputingdemandshas

becomeakeybottleneckrestrictingthedevelopmentofartificialintelligencetechnology.

Duetothelimitationofobjectiveenvironmentalconditions,somedatasetshaveproblems

suchaslackofsamplesandlabels,whichwillalsoaffectthetrainingtimeandfinal

trainingeffectofthemodel.Theemergenceoftransferlearningprovidesanewideato

solvethiscontradiction.Itusesthesimilaritybetweenthetwodomainstotransferthe

data,features,models,parametersandotherrelatedelementsinthesourcedomaintothe

targetdomain,therebyprovidingahigherstartingpointforthetargettask.Asaresult,the

trainingtimefortargettaskisreduced,whilethetrainingeffectisimproved.

Atthesametime,thedatashowsthetrendofmu