融合CNN和Transformer的建筑风格分类算法.pdfVIP

第46卷第5期光学仪器Vol.46，No.5

2024年10月OPTICALINSTRUMENTSOctober，2024

文章编号：1005-5630(2024)05-0001-08DOI:10.3969/j.issn.1005-5630.202308160108

融合CNN和Transformer的建筑风格

分类算法

刘东，张荣福，秦俊祥，龚俊哲，曹志彬

（上海理工大学光电信息与计算机工程学院，上海200093）

摘要：建筑风格的准确分类对研究建筑文化和人类历史文明具有重要意义。基于卷积神经网

络(convolutionalneuralnetwork，CNN)的模型由于其强大的特征提取能力，在建筑风格分类

领域取得了良好的效果。但是，目前大多数的CNN模型只提取了建筑的局部特征，而基于

Transformer的模型在注意力机制的作用下，可以提取建筑的全局特征。为了提高建筑风格分

类的准确性，提出了一种融合CNN和Transformer的建筑风格分类方法，该网络的核心部分

为CT-Block结构。该结构在通道维度上分为CNN和Transformer两个分支，特征分别通过

这两个通道之后再拼接起来。该结构不仅能融合CNN提取的局部特征和Transformer提取的

全局特征，而且还能减轻双分支结构带来的模型变大，参数量增多的问题。在Architectural

StyleDataset和WikiChurches数据集上，该算法的准确率分别为79.83%和68.41%，优于建

筑风格分类领域其他模型。

关键词：建筑风格分类；卷积神经网络；Transformer模型；网络融合；注意力机制

中图分类号：TP183文献标志码：A

ArchitecturalstyleclassificationalgorithmfusingCNNand

Transformer

LIUDong，ZHANGRongfu，QINJunxiang，GONGJunzhe，CAOZhibin

（SchoolofOptical-ElectricalandComputerEngineering,UniversityofShanghaiforScienceand

Technology,Shanghai200093,China）

Abstract:Theaccurateclassificationofarchitecturalstyleisofgreatsignificancetothestudyof

architecturalcultureandhumanhistoryandcivilization.Modelsbasedonconvolutionalneural

network(CNN)hasachievedgoodperformanceinthefieldofarchitecturalstyleclassificationdue

toitspowerfulfeatureextractionability.However,mostcurrentCNNmodelsonlyextracttheloc