图像处理中CNN与视觉Transformer混合模型研究综述.pdfVIP

计算机科学与探索1673-9418/2025/19(01)-0030-15

JournalofFrontiersofComputerScienceandTechnologydoi:10.3778/j.issn.1673-9418.2403009

图像处理中CNN与视觉Transformer混合模型研究综述

+

郭佳霖，智敏，殷雁君，葛湘巍

内蒙古师范大学计算机科学技术学院，呼和浩特010022

+通信作者E-mail:cieczm@

摘要：卷积神经网络（CNN）与视觉Transformer是目前图像处理领域中两大重要的深度学习模型，两者经过多年

来不断的研究与进步，已在该领域取得了非凡的成就。近些年来，CNN与视觉Transformer的混合模型正在逐步兴

起，广泛的研究不断克服两种模型存在的弱项，高效地发挥出各自的亮点，在图像处理任务中表现出优异的效果。

基于CNN与视觉Transformer混合模型进行深入阐述。总体概述了CNN与VisionTransformer模型的架构和优缺

点，并总结混合模型的概念及优势。围绕串行结构融合方式、并行结构融合方式、层级交叉结构融合方式以及其他

融合方式等四个方面全面回顾梳理了混合模型的研究现状和实际进展，并针对各种融合方式的主要代表模型进行

总结与剖析，从多方面对典型混合模型进行评价对比。多角度叙述了混合模型在图像识别、图像分类、目标检测和

图像分割等实际图像处理特定领域中应用研究，展现出混合模型在具体实践中的适用性和高效性。深入分析混合

模型未来研究方向，并为后续该模型在图像处理中的研究与应用提出展望。

关键词：卷积神经网络（CNN）；视觉Transformer；混合模型；图像处理；深度学习

文献标志码：A中图分类号：TP391

ReviewofResearchonCNNandVisualTransformerHybridModelsinImage

Processing

+

GUOJialin,ZHIMin,YINYanjun,GEXiangwei

CollegeofComputerScienceandTechnology,InnerMongoliaNormalUniversity,Hohhot010022,China

Abstract:Convolutionalneuralnetwork(CNN)andvisionTransformeraretwoimportantdeeplearningmodelsinthe

fieldofimageprocessing,andtheyhavemaderemarkableachievementsinthisfieldafteryearsofcontinuousresearch

andprogress.Inrecentyears,thehybridmodelofCNNandvisionTransformerisgraduallyemerging.Extensiveresearch

hasconstantlyovercometheweaknessesofthetwomodels,andeffectivelyplaystheirrespectivehighlights,showing

excellentresultsinimageprocessingtasks.ThispaperisbasedonthehybridmodelofCNNandvisionTransformer.First

ofall,thearchitecture,advantagesanddisadvantagesofCNNandvisionTransformermodelaresummarized,andthe

conceptandadvantagesofhybridmodelaresummarized.Secondly,thispapercomprehe