基于自蒸馏的图像分类框架.pdfVIP

信息技术ＸＩＮＸＩＪＩＳＨＵ２０２５年第４期

基于自蒸馏的图像分类框架

１１２１

李圣巍ꎬ李海ꎬ马克ꎬ赵宏伟

(１.吉林大学计算机科学与技术学院ꎬ长春１３００１２ꎻ

２.吉林大学机械与航空航天工程学院ꎬ长春１３００２５)

摘要:针对目前自蒸馏结构中反向解耦标签编码研究不足ꎬ文中提出了一种基于自蒸馏的图像分

类框架:Ｓｅｌｆ￣ｄｉｓｔｉｌｌａｔｉｏｎｗｉｔｈＬａｂｅｌｓ(ＳＤＬ)ꎮＳＤＬ框架中设计了一种有效的标签编码器ꎬ并将其与主干

神经网络结合ꎬ通过软损失以及硬损失进行自蒸馏ꎬ使得整个框架同步更新参数ꎮ图像分类实验在

ＣＩＦＡＲ１０ꎬＣＩＦＡＲ１００ꎬＵＣＭｅｒｃｅｄ三个公开数据集上进行ꎬ在主干网络为ＲｅｓＮｅｔ５０、数据集为ＣＩ￣

ＦＡＲ１００的情况下ꎬｔｏｐ－１准确率达到了８３.１１％ꎮ实验结果表明ꎬＳＤＬ框架与当前的自蒸馏方法相

比具有明显的优势ꎻ同时ＳＤＬ在不同主干网络与数据集下仍然具有良好的性能和泛化性ꎮ

关键词:计算机应用ꎻ知识蒸馏ꎻ自蒸馏ꎻ图像分类ꎻ卷积神经网络

中图分类号:ＴＰ３９１文献标识码:Ａ文章编号:１００９－２５５２(２０２５)０４－００１６－０６

ＤＯＩ:１０.１３２７４/ｊ.ｃｎｋｉ.ｈｄｚｊ.２０２５.０４.００３

ＩｍａｇｅｃｌａｓｓｉｆｉｃａｔｉｏｎｆｒａｍｅｗｏｒｋｂａｓｅｄｏｎＳｅｌｆ￣ｄｉｓｔｉｌｌａｔｉｏｎ

１１２１

ＬＩＳｈｅｎｇ￣ｗｅｉꎬＬＩＨａｉꎬＭＡＫｅꎬＺＨＡＯＨｏｎｇ￣ｗｅｉ

(１.ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙꎬＪｉｌｉｎＵｎｉｖｅｒｓｉｔｙꎬＣｈａｎｇｃｈｕｎ１３００１２ꎬＣｈｉｎａꎻ２.Ｓｃｈｏｏｌｏｆ

ＭｅｃｈａｎｉｃａｌａｎｄＡｅｒｏｓｐａｃｅＥｎｇｉｎｅｅｒｉｎｇꎬＪｉｌｉｎＵｎｉｖｅｒｓｉｔｙꎬＣｈａｎｇｃｈｕｎ１３００２５ꎬＣｈｉｎａ)

Ａｂｓｔｒａｃｔ:Ａｓｅｌｆ￣ｄｉｓｔｉｌｌａｔｉｏｎｂａｓｅｄｉｍａｇｅｃｌａｓｓｉｆｉｃａｔｉｏｎｆｒａｍｅｗｏｒｋｃａｌｌｅｄＳｅｌｆ￣ｄｉｓｔｉｌｌａｔｉｏｎｗｉｔｈＬａｂｅｌｓ(ＳＤＬ)

ｉｓｐｒｏｐｏｓｅｄｔｏａｄｄｒｅｓｓｔｈｅｃｕｒｒｅｎｔｌａｃｋｏｆｒｅｓｅａｒｃｈｏｎｂａｃｋｄｅｃｏｕｐｌｉｎｇｌａｂｅｌｅｎｃｏｄｉｎｇｉｎｓｅｌｆ￣ｄｉｓｔｉｌｌａｔｉｏｎ

ｓｔｒｕｃｔｕｒｅｓ.ＡｎｅｆｆｅｃｔｉｖｅｌａｂｅｌｅｎｃｏｄｅｒｈａｓｂｅｅｎｄｅｓｉｇｎｅｄｉｎｔｈｅＳＤＬｆｒａｍｅｗｏｒｋａｎｄｃｏｍｂｉｎｅｄｗｉｔｈａｂａｃｋ￣

ｂｏｎｅｎｅｕｒａｌｎｅｔｗｏｒｋｔｏｓｅｌｆ￣ｄｉｓｔｉｌｌｔｈｒｏｕｇｈｓｏｆｔｌｏｓｓａｎｄｈａｒｄｌｏｓｓꎬａｌｌｏｗｉｎｇｔｈｅｅｎｔｉｒｅｆｒａｍｅｗｏｒｋｔｏｕｐｄａｔｅ

ｐａｒａｍｅｔｅｒｓｔｏｇｅｔｈｅｒ.ＴｈｅｉｍａｇｅｃｌａｓｓｉｆｉｃａｔｉｏｎｅｘｐｅｒｉｍｅｎｔｉｓｃｏｎｄｕｃｔｅｄｏｎｔｈｒｅｅｐｕｂｌｉｃｄａｔａｓｅｔｓꎬＣＩＦＡＲ１０ꎬ

ＣＩＦＡＲ１００ꎬａｎｄＵＣＭｅｒｃｅｄ.ＷｉｔｈｔｈｅｂａｃｋｂｏｎｅｎｅｔｗｏｒｋＲｅｓＮｅｔ５０ａｎｄｄａｔａｓｅｔＣＩＦＡＲ１００ꎬｔｈｅｔｏｐ￣１ａｃｃｕ￣

ｒａｃｙｒｅａｃｈｅｓ８３.１１％.ＴｈｅｅｘｐｅｒｉｍｅｎｔｒｅｓｕｌｔｓｉｎｄｉｃａｔｅｔｈａｔｔｈｅＳＤＬｆｒａｍｅｗｏｒｋｈａｓｓｉｇｎｉｆｉｃａｎｔａｄｖａｎｔａｇｅｓ

ｃｏｍｐａｒｅｄｔｏｃｕｒｒｅｎｔｓｅｌｆ￣ｄｉｓｔｉｌｌａｔｉｏｎｍｅｔｈｏｄｓꎬａｎｄＳＤＬｓｔｉｌｌｅｘｈｉｂｉｔｓｇｏｏｄｐｅｒｆｏｒｍａｎｃｅａｎｄｇｅｎｅｒａｌｉｚａｔｉｏｎ

ｕｎｄｅｒｄｉｆｆｅｒｅｎｔｂａｃｋｂｏｎ