基于自监督学习和二阶表示的小样本图像分类.pdfVIP

第48卷第3期计算机学报Vol.48No.3

2025年3月CHINESEJOURNALOFCOMPUTERSMarch2025

基于自监督学习和二阶表示的小样本图像分类

李兆亮”贾令尧张冰冰”李培华

1)（大连理工大学信息与通信工程学院辽宁大连116024）

2（大连民族大学计算机科学与工程学院辽宁大连116650）

摘要小样本图像分类旨在利用少量的标注样本实现对未见类别的预测。最近的研究表明，预训练策略和图像

表示方法在该任务中发挥着关键作用。然而，这些方法的应用仍面临两个主要挑战：第一，自监督学习在小样本分

类的预训练阶段尚未得到充分的探索；第二，二阶表示在不同粒度的小样本任务中的作用尚不明确，制约了其在复

杂任务中的应用。针对上述问题，本文首先提出了一个多任务协同优化的预训练方法，实现了对比式自监督、生成

式自监督和有监督学习的联合训练。该方法旨在促进模型学习具有迁移性的特征，从而提升模型的泛化性能。其

次，本文利用紧致的双线性池化对模型进行微调，以获取更具分辨力的二阶表示，从而进一步增强模型的非线性建

模能力。最后，本文提出了一种基于类间相似关系的任务难度指标，用于量化小样本任务的分类粒度，并通过线性

探测分析系统地研究了二阶表示在粗细粒度不同的小样本任务中的表现。实验表明，多任务协同的预训练有效提

高了模型的泛化性能，并且不同的分支任务呈现相互促进的效果；在更加困难的细粒度任务中，二阶表示相对于一

阶表示展现出更强的线性可分性，这为一阶和二阶表示在不同场景中的应用提供了有益参考。本文通过广泛的消

融实验深人评估了每个关键设计的贡献。与当前最先进的方法相比，本文方法在minilmageNet和CUB数据集的

1-shot/5-shot分类任务中分别取得0.66%/0.53%和3.12%/0.98%的提升，在tieredImageNet数据集的5-shot分

类任务中取得可比结果（87.19%vs．87.31%），在跨域数据集minilmageNet-→CUB和

minilmageNet→Cars中分别取得1.25%、1.96%和4.34%的提升，验证了本文方法的有效性。

关键词小样本图像分类；自监督学习；有监督学习；二阶表示；任务难度指标

中图法分类号TP391D0I号10.11897/SP.J.1016.2025.00586

Few-ShotImageClassificationBasedonSelf-SupervisedLearningand

Second-OrderRepresentation

ZHANGBing-Bing?LIPei-Hual)

LIZhao-Liang)JIALing-YaoZ

I(SchoolofInformationandCommunicationEngineering,DalianUniversityofTechnology,Dalian,Liaoning116024)

2)(SchoolofComputerScienceandEngineering,DalianMinzuUniversity,Dalian,Liaoning116650)

AbstractFew-shotimageclassificationaimstoaccuratelyrecognizeunseencategorieswithafew

annotatedsamples.Recentstudieshaveshownthatbothpre-trainingstrategiesandeffective