基于自监督视觉Transformer的图像美学质量评价方法.pdfVIP

JournalofComputerApplicationsISSN1001⁃90812024⁃04⁃10

计算机应用,2024,44(4):1269-1276CODENJYIIDUhttp：//www.joca.cn

文章编号：1001-9081（2024）04-1269-08DOI：10.11772/j.issn.1001-9081.2023040540

基于自监督视觉Transformer的图像美学质量评价方法

1，211，2*1，2

黄荣，宋俊杰，周树波，刘浩

（1.东华大学信息科学与技术学院，上海201620；2.数字化纺织服装技术教育部工程研究中心（东华大学），上海201620）

（∗通信作者电子邮箱zhoushubo@dhu.edu.cn）

摘要：现有的图像美学质量评价方法普遍使用卷积神经网络（CNN）提取图像特征，但受局部感受野机制的限

制，CNN较难提取图像的全局特征，导致全局构图关系、全局色彩搭配等美学属性缺失。为解决该问题，提出基于自

监督视觉Transformer（SSViT）模型的图像美学质量评价方法。利用自注意力机制建立图像局部块之间的长距离依赖

关系，自适应地学习图像不同局部块之间的相关性，提取图像的全局特征，从而刻画图像的美学属性；同时，设计图像

降质分类、图像美学质量排序和图像语义重构这3项美学质量感知任务，利用无标注的图像数据对视觉Transformer

（ViT）进行自监督预训练，增强全局特征的表达能力。在AVA（AestheticVisualAssessment）数据集上的实验结果显

示，SSViT模型在美学质量分类准确率、皮尔森线性相关系数（PLCC）和斯皮尔曼等级相关系数（SRCC）指标上分别达

到83.28%、0.7634和0.7462。以上实验结果表明，SSViT模型具有较高的图像美学质量评价准确性。

关键词：图像美学质量评价；视觉Transformer；自监督学习；全局特征；自注意力机制

中图分类号：TP751文献标志码：A

Imageaestheticqualityevaluationmethodbasedonself-supervisedvisionTransformer

1，211，2*1，2

HUANGRong，SONGJunjie，ZHOUShubo，LIUHao

（1.CollegeofInformationScienceandTechnology，DonghuaUniversity，Shanghai201620，China；

2.EngineeringResearchCenterofDigitalizedTextileFashionTechnology，MinistryofEducation（DonghuaUniversity），

Sha