基于ConvNeXt特征提取的图像分类研究.pdf

中文摘要

随着深度学习的迅速发展，神经网络算法在图像数据特征提取领域备受关

注，卷积神经网络无需依赖繁琐的人工特征工程，可直接应用于各种视觉识别

任务。然而，在实际应用场景中，图像数据样本稀少和低分辨率等特点对特征

提取带来了极大的挑战。因此，如何在图像数据量少的基础上抽取到高质量的

特征信息成为研究热点之一。

传统的卷积神经网络因其卷积结构只关注图像数据的相邻特征信息，忽视

了全局信息的重要性，导致其无法在有限的图像数据中提取到高质量特征信

息，而自注意力机制模型具有优秀的全局信息提取能力，能够有效捕捉图像中

的整体结构和关系。因此，为解决传统卷积神经网络无法捕获图像全局信息的

问题并进一步提取到高质量的特征信息，本文以ConvNeXt为骨干网络，结合

自注意力机制，对抽取的特征信息进行分类问题的研究，本文主要工作如下：

（1）提出了基于ConvNeXt的全局信息双向维度聚合算法。该算法是一种

CNN与LSTM结合的模型，在增强局部感受野的前提下更好地融合图像数据的

全局信息，此算法以主干网络ConvNext-T为基础模型，通过拼接不同大小卷积

核以融合多尺度视觉特征，并从水平和垂直两个方向聚合双向长短期记忆网络

关注全局与局部信息的交互性，从而获得更好的视觉语义特征和分类准确性。

（2）提出了基于ConvNeXt的自注意力机制自适应性提示算法。该算法为

充分利用预训练模型的先验知识，引入预训练权重并在输入空间中添加特定任

务的自注意力机制提示块，将其作为额外信息输入到模型中进行训练。随后，

在增强通道间的竞争条件下，以极小的参数量进行预训练模型的自适应性调

整。最终，实现将视觉领域中通用的特征信息应用于特定的视觉任务，以获取

更具针对性的语义特征。

本文在TinyImageNet、CIFAR等数据集上对提出的两种算法进行实验验

证，结果表明，算法一相较于基础模型ConvNeXt-T在三类数据集准确率上提

高了3.18%、2.91%、1.03%，算法二相比其他微调方法在CNN和Transformer

架构模型的平均准确率上分别提高了0.55%和1.86%。

关键词：ConvNeXt；特征提取；双向维度聚合；自注意力机制提示块

I

ABSTRACT

Withtherapiddevelopmentofdeeplearning,neuralnetworkalgorithmshave

attractedmuchattentioninthefieldofimagedatafeatureextraction,and

convolutionalneuralnetworkscanbedirectlyappliedtoavarietyofvisual

recognitiontaskswithoutrelyingontediousmanualfeatureengineering.However,in

practicalapplicationscenarios,featuressuchassparseimagedatasamplesandlow

resolutionposegreatchallengestofeatureextraction.Therefore,howtoextracthigh-

qualityfeatureinformationbasedonthesmallamountofimagedatahasbecomeone

oftheresearchhotspots.

Thetraditionalconvolutionalneuralnetworkonlyfocuses