面向视音频事件定位的跨模态时间对齐网络.pdfVIP

计算机系统应用

ISSN

1003-3254,

CODEN

CSAOBNE-mail:

csa@

2025,34(3):133−142

[doi:

10.15888/ki.csa.009785]

[CSTR:

32024.14.csa.009785]

©中国科学院软件研究所版权所有.Tel:

+86-10

面向视音频事件定位的跨模态时间对齐网络①

王志豪,

訾玲玲

(重庆师范大学

计算机与信息科学学院,

重庆

401331)

通信作者:

王志豪,

E-mail:

2022210516095@

摘要:

视音频事件定位(audio-visual

event

localization,

AVEL)任务通过观察音频信息和相对应的视觉信息来定

位视频中的事件.

本文针对AVEL任务设计了一种跨模态时间对齐网络CMTAN,

该网络包含预处理、跨模态交

互、时间对齐和特征融合这4个部分.

具体而言,

在预处理部分,

通过一种新的跨模态音频指导模块和一种噪音弱

化模块的处理,

模态信息中的背景和噪音被减少.

随后,

在跨模态交互部分,

使用基于多头注意力机制的信息强化和

信息补充模块进行跨模态交互,

单模态信息得到全局信息优化.

在时间对齐部分,

本文设计了一种聚焦于跨模态交

互前后单模态全局信息的时间对齐模块,

用于执行模态信息的特征对齐.

最后,

在特征融合过程中,

通过一种多阶段

融合模块,

两种模态信息被从浅入深地融合,

且融合后的模态信息最终将被用于事件定位.

大量实验表明CMTAN

在弱监督和全监督AVEL任务中都具有优秀的性能.

关键词:

跨模态;

视音频事件定位;

弱监督和全监督;

特征对齐

引用格式:

王志豪,訾玲玲.面向视音频事件定位的跨模态时间对齐网络.计算机系统应用,2025,34(3):133–142.

/1003-3254/

9785.html

Cross-modalTimeAlignmentNetworkforAudio-visualEventLocalization

WANG

Zhi-Hao,

ZI

Ling-Ling

(College

of

Computer

and

Information

Science,

Chongqing

Normal

University,

Chongqing

401331,

China)

Abstract:

The

audio-visual

event

localization

(AVEL)

task

locates

events

in

a

video

by

observing

audio

information

and

corresponding

visual

information.

In

this

paper,

a

cross-modal

time

alignment

network

named

CMTAN

is

designed

for

the

AVEL

task.

The

network

consists

of

four

parts:

preprocessing,

cross-modal

interaction,

time

alignment,

and

feature

fusion.

Specifically,

in

the

preprocessing

part,

the

background

and

noise

in

the

modal

information

are

reduced

by

the

processing

of

a

new

cross-modal

audio

guidance

module

and

a

noise

reduction

module.

Then,

in

the

cross-modal

interaction

part,

the

information

reinforcement

and

information

complementation

modules

based

on

the

multi-head

attention

mechanism

are

used

for