基于跨模态语义对齐的视频时刻检索研究.pdfVIP

摘要

摘要

随着互联网技术的繁荣和视频技术的发展，视频内容正被越来越多的人们所

青睐。每天，世界上都有大量的视频被拍摄、剪辑，并上传到互联网上。由于视频

内容每天都在指数级地增长，研究人员越来越多地关注于使用视频检索技术来处

理大量的视频信息。随着视频时长的增加，人们希望可以从较长的视频中检索出

与文本最为对应的视频片段，这就引出了视频时刻检索这个任务。视频时刻检索

是根据给定的文本，从一段长视频中，找到与该文本语义最为对应的一个片段，并

返回该片段的开始时间和结束时间。这个任务还有助于完成其他的视频任务，如

视频问答、视频述生成和视频定位等。

目前主流的视频时刻检索方法主要由以下三个阶段组成：多模态特征取、

跨模态融合和视频时刻定位。在多模态特征取过程中，视频特征和文本特征被

分别取。随后，不同模态的特征进行跨模态融合，得到融合特征。最后，融合特

征被送入视频时刻定位网络，生成最终的视频时刻检索结果。虽然该流程被证明

能有效的进行视频时刻检索，但仍存在着很大的改进空间。比如，跨模态融合不

够充分，同一视频片段中多个动作会产生相互干扰，视频表征过于粗糙等。基于

以上问题，本文以该流程为基础，分别针对不同视频时刻检索的不同问题，出

了以下两种不同的改进算法以升视频时刻检索的效果。

针对不同模态的特征融合不够充分，以及视频中多个动作的干扰问题，本文

出了基于跨模态动态网络的视频时刻检索方法。该方法根据文本和视频特征，

创新性地动态生成卷积网络的卷积核，使用跨模态的特征引导卷积。同时，该方

法还使用了一种新颖的序列帧注意力机制，来捕捉同一个视频片段中的不同动作

特征，从而减少同一片段中不同动作之间相互造成的干扰。这两种机制在推断过

程中，均不会带来显著的计算量的增加，且有效地高了视频时刻检索的性能。

针对视频表征过于粗糙的问题，本文还出了基于语义增强物体推理网络的视频

时刻检索方法。不同于传统的视频特征，该方法使用了物体级别的视觉特征，结

合语义信息来推测不同物体之间的关系，从而理解视频内容。并且，该方法使用

了一个新的时序平移机制，来避免不对齐的物体所带来的干扰。本文所出的方

法，在公开的Charades-STA和TACoS数据集上进行了实验。实验结果表明，相较

于已有的方法，本文所出的方法在多个指标上都达到了具有竞争力的性能。

关键词：视频时刻检索，视频理解，跨模态对齐，时刻定位

I

ABSTRACT

ABSTRACT

WiththedevelopmentoftheInternetandvideotechnology,videocontentisbeing

favoredbymoreandmorepeople.Everyday,tonsofvideosaroundtheworldareshot,

edited,anduploadedtotheInternet.Astheamountofvideocontentgrowsexponentially

everyday,researchersareincreasinglyfocusingonvideoretrievaltechniquestoprocess

massiveamountsofvideoinformation.Asthelengthofthevideoincreases,wehopeto

retrievethevideoclipthatbestcorrespondstothetextfromthelongervideo,whichleads

tothetaskofvideomomentretrieval.Videomomentretrievalisbasedonagiventext,

fromalongvideo,tofindasegmentmostcorrespondingtothetextquery,andreturnthe

starttimeandendtimeofthesegment.Thistaskisalsohelpfulforothervideotasks,such

asvideoquestionanswering,videodescriptiongeneration,an