图像处理中注意力机制综述.pdfVIP

计算机科学与探索1673-9418/2024/18(02)-0345-18

JournalofFrontiersofComputerScienceandTechnologydoi:10.3778/j.issn.1673-9418.2305057

图像处理中注意力机制综述

祁宣豪，智敏+

内蒙古师范大学计算机科学技术学院，呼和浩特010022

+通信作者E-mail:cieczm@imnu.edu.cn

摘要：图像处理中的注意力机制已成为深度学习领域中流行且重要的技术之一，因其具有优秀的即插即用

便利性，被广泛应用于图像处理领域的各种深度学习模型中。注意力机制通过对输入特征进行加权处理，将

模型的注意力集中于最重要的区域，以提升图像处理任务的准确性和性能。首先，将注意力机制的发展过程

划分为四个阶段，并在此基础上对通道注意力、空间注意力、通道与空间混合注意力和自注意力四个方面的研

究现状及进展进行了回顾与总结；其次，针对注意力机制的核心思想、关键结构和具体实现进行了详细的论

述，并进一步总结和归纳所使用模型的优缺点；最后，通过对当前主流的注意力机制进行对比实验和结果分

析，讨论了现阶段注意力机制在图像处理领域中存在的问题，并对图像处理领域中注意力机制的未来发展进

行展望，为进一步研究提供参考。

关键词：注意力机制；核心思想；关键结构；图像处理

文献标志码：A中图分类号：TP391

ReviewofAttentionMechanismsinImageProcessing

QIXuanhao,ZHIMin+

CollegeofComputerScienceandTechnology,InnerMongoliaNormalUniversity,Hohhot010022,China

Abstract:Attentionmechanisminimageprocessinghasbecomeoneofthepopularandimportanttechniquesinthe

fieldofdeeplearning,andiswidelyusedinvariousdeeplearningmodelsinimageprocessingbecauseofitsexcel-

lentplug-and-playconvenience.Byweightingtheinputfeatures,theattentionmechanismfocusesthemodel’satten-

tiononthemostimportantregionstoimprovetheaccuracyandperformanceofimageprocessingtasks.Firstly,this

paperdividesthedevelopmentprocessofattentionmechanismintofourstages,andonthisbasis,reviewsandsum-

marizestheresearchstatusandprogressoffouraspects:channelattention,spatialattention,channelandspatial

mixedattention,andself-attention.Secondly,thispaperprovidesadetaileddiscussiononthecoreidea,keystruc-

tureandspecificimplementationofattentionmechanism,andfurthersummarizestheadvantagesanddisadvantages

ofusedmodels.Finally,bycomparingthecurrentmainstreamattentionmechanismsandanalyzingtheresults,this

paperdiscussestheprob