基于自监督学习与多尺度时空特征融合的视频质量评估.pdfVIP

计算机系统应用

ISSN

1003-3254,

CODEN

CSAOBNE-mail:

csa@

2025,34(3):51−61

[doi:

10.15888/ki.csa.009784]

[CSTR:

32024.14.csa.009784]

©中国科学院软件研究所版权所有.Tel:

+86-10

基于自监督学习与多尺度时空特征融合的视频

质量评估①

11121

于莉,

王思拓,

陈亚当,

高攀,

孙玉宝

1(南京信息工程大学

计算机学院、网络空间安全学院,

南京

210044)

2(南京航空航天大学

计算机科学与技术学院,

南京

211106)

通信作者:

于莉,

E-mail:

li.yu@

摘要:

面对视频质量评估领域标记数据不足的问题,

研究者开始转向自监督学习方法,

旨在借助大量未标记数据

来学习视频质量评估模型.

然而现有自监督学习方法主要聚焦于视频的失真类型和视频内容信息,

忽略了视频随时

间变化的动态信息和时空特征,

这导致在复杂动态场景下的评估效果不尽人意.

针对上述问题,

提出了一种新的自

监督学习方法,

通过播放速度预测作为预训练的辅助任务,

使模型能更好地捕捉视频的动态变化和时空特征,

并结

合失真类型预测和对比学习,

增强模型对视频质量差异的敏感性学习.

同时,

为了更全面捕捉视频的时空特征,

进一

步设计了多尺度时空特征提取模块等以加强模型的时空建模能力.

实验结果显示,

所提方法在LIVE、CSIQ以及

LIVE-VQC数据集上,

性能显著优于现有的基于自监督学习的方法,

在LIVE-VQC数据集上,

本方法在PLCC指标

上平均提升7.90%,

最高提升17.70%.

同样,

在KoNViD-1k数据集上也展现了相当的竞争力.

这些结果表明,

本文

提出的自监督学习框架有效增强视频质量评估模型的动态特征捕捉能力,

并在处理复杂动态视频中显示出独特优势.

关键词:

视频质量评估;

自监督学习;

多任务学习;

播放速度预测;

多尺度

引用格式:

于莉,王思拓,陈亚当,高攀,孙玉宝.基于自监督学习与多尺度时空特征融合的视频质量评估.计算机系统应用,2025,34(3):51–61.

http://

/1003-3254/9784.html

Self-supervisedLearningandMulti-scaleSpatio-temporalFeatureFusionforVideo

QualityAssessment

11121

YU

Li,

WANG

Si-Tuo,

CHEN

Ya-Dang,

GAO

Pan,

SUN

Yu-Bao

1(School

of

Computer

Science

School

of

Cyber

Science

and

Engineering,

Nanjing

University

of

Information

Science

Technology,

Nanjing

210044,

China)

2(College

of

Computer

Science

and

Technology,

Nanjing

University

of

Aeronautics

and

Astronautics,

Nanjing

211106,

China)

Abstract:

Faced

with

insufficient

labeled

data

in

the

field

of

video

quality

assessment,

researchers

begin

to

turn

to

self-

supervised

learning

methods,

aiming

to

learn

video

quality

asses