双分支多维注意特征融合的高光谱图像分类.pdfVIP

1922024，60（7）ComputerEngineeringandApplications计算机工程与应用

双分支多维注意特征融合的高光谱图像分类

马亚美，王双亭，都伟冰

河南理工大学测绘与国土信息工程学院，河南焦作454003

摘要：为改善高光谱图像小样本类别的分类性能，提高模型特征表达的稳健性，提出了双分支多维注意力特征融

合的神经网络分类模型（DBMD）。DBMD采用两个分支分别进行光谱特征提取和混合特征提取。光谱分支通过密

集连接的扩张卷积逐级提取特征，然后融合低、中、高级语义信息作为特征输出。混合分支采用3D-2D网络架构，并

通过改进的Inception块提取空间尺度特征。此外，注意力机制分别应用于光谱、空间和空谱特征，进行特征细化，增

强重要区域的特征响应。最后，将不同维度的细化特征联合输入至分类器进行分类。在IndianPines和SalinasValley

数据集上利用5%和1%的样本进行实验，分别取得了98.40%和99.78%的总体精度，与其他六种网络架构相比，该模

型在准确性和稳定性上都具有更优的表现。

关键词：混合特征提取；注意力机制；多维特征融合；图像分类

文献标志码：A中图分类号：TP751doi：10.3778/j.issn.1002-8331.2211-0139

HyperspectralImageClassificationBasedonDoubleBranchMultidimensionalAttentionFeature

Fusion

MAYamei,WANGShuangting,DUWeibing

SchoolofSurveyingandLandInformationEngineering,HenanPolytechnicUniversity,Jiaozuo,Henan454003,China

Abstract：Toimprovetheclassificationperformanceofsmallsampleclassesofhyperspectralimagesandtoenhancethe

robustnessofthemodelfeaturerepresentation,aneuralnetworkclassificationmodelwithtwo-branchmultidimensional

attentionalfeaturefusion(DBMD)isproposed.DBMDusestwobranchesforspectralfeatureextractionandhybridfea-

tureextractionrespectively.Thespectralbranchextractsfeaturesstep-by-stepthroughdenselyconnecteddilatedconvolu-

tion,andthenfuseslow,mediumandhighlevelsemanticinformationasthefeatureoutput.Thehybridbranchusesa3D-

2DnetworkarchitectureandextractsspatialscalefeaturesthroughimprovedInceptionblocks.Inaddition,theattention

mechanismisappliedtospectral,spatialandspatial-spectralfeatureextractionrespectivelyforfeaturerefinementandto

enhancethefeatureresponseinimportantregions.Finally,therefinedfeaturesofdifferentdimensionsarejointlyinputto

theclassifierforclassification.Experimentsusing5%and1%samplesontheI