基于自蒸馏方法的细粒度图像识别.pdfVIP

TECHNOLOGYANDINFORMATIONIT技术

基于自蒸馏方法的细粒度图像识别

魏龙 邢树礼

福建理工大学 计算机科学与数学学院 福建 福州 350000

摘 要 细粒度图像具有类间差异小、图像易混淆的特性，因此细粒度图像识别任务极具有挑战性。基于对现有细

粒度图像识别方法的研究，将自蒸馏方法应用于细粒度图像识别任务上，每一个小批量数据会前后两次通过模型，

后一次迭代会提取前一次迭代中生成的软标签进行知识蒸馏。该方法不改变模型结构，在多个模型上均带来了性能

的提升，在细粒度图像数据集NABirds上取得了93.2 %的分类精度。

关键词 图像分类；细粒度图像识别；自蒸馏

Fine-GrainedImageRecognitionBasedonSelf-Distillation

WeiLong,XingShu-li

SchoolofComputerScienceandMathematics,Fuzhou350000,FujianProvince,China

AbstractFine-grainedimagesarecharacterizedbysmallinter-classdifferencesandhighsusceptibilitytoconfusion,

makingthetaskoffine-grainedimagerecognitionhighlychallenging.Basedontheresearchofexistingfine-grainedimage

recognitionmethods,theself-distillationmethodisappliedtothistask.Inthisapproach,eachmini-batchofdatapasses

throughthemodeltwice.Duringtheseconditeration,thesoftlabelsgeneratedfromthefirstiterationareextractedfor

knowledgedistillation.Thismethoddoesnotalterthemodelstructureandhasledtoperformanceimprovementsonmultiple

models.Itachievedaclassificationaccuracyof93.2%onthefine-grainedimagedatasetNABirds.

KeywordsImageClassification;Fine-GrainedImageRecognition;Self-Distillation

引言通过骨干网络来提取信息丰富的局部特征。然而，这些方法的

传统的图像分类任务是对类别之间相似度较小的对象进缺点是通常需要专门设计一个网络模块来学习定位关键区域，

行分类，也称之为粗粒度图像分类。近些年来，图像分类技使得网络结构复杂，并且这些定位方法往往产生较大的预测区

术发展迅速，粗粒度图像分类的模型在算法效果和性能上都取域，导致不能关注到细微的局部特征。TranFG[9]和FFVT[10]利用

得了很好的成果。然而，细粒度图像分类中不同类别之间差异自注意力机制生成注意力图来识别图像的关键区域。上述工作

较小，使得细粒度图像分类难度大且精度普遍较低。因此，是通过模型上的设计来提升细粒度图像分类的精度。

[1]

一些在粗粒度图像分类任务上表现良好的框架，如ResNet、另一方面，为了提升细粒度图像分类模型泛化能力，

[2]