单语句和多语句深度视频描述.pdfVIP

摘要

视频描述任务旨在自动生成一条或多条符合语法且准确描述视频内容的自然语

句，主要涉及计算机视觉和自然语言处理两个领域，并可广泛应用于视频标题生成、

视频检索、辅助视障人士、智慧安防等多个实际场景中。对于单语句和多语句视频描

述，现有的方法存在诸如生成语句冗余、生成语句和视频内容存在语义差异、多条语

句间的语义不连贯等问题。为了解决上述问题，本文分别从单语句和多语句等两个角

度研究视频描述方法，主要的贡献阐述如下：

（1）针对生成语句冗余、词性信息利用不充分的问题，提出利用图卷积多粒度词

性注意力的元学习视频描述方法（GMMP）。该方法利用图卷积对视频帧的长期时序

关系进行建模，得到时序信息丰富的视频特征；设计了多粒度词性注意力机制，用于

捕捉视频单词和短语级别的多粒度词性信息，指导模型生成语法更准确的描述语句；

引入元学习训练视频描述模型，最大化视频真实描述语句概率分布的同时最大化生成

语句的奖励函数，可大为减少生成语句的冗余。

（2）针对生成语句与视频内容存在语义差异的问题，提出基于时序高斯混合空洞

卷积语义重构的视频描述方法（SRTG）。该方法构建时序高斯混合空洞卷积模块对视

频长期时序信息进行建模，能捕捉视频的长期时序关系；利用高斯分布初始化卷积核

参数使其训练参数量为常数，与卷积核尺寸无关，从而减少模型训练参数；此外，利

用Kullback-Leibler散度衡量真实语句和生成语句间的概率分布差异，缩小生成语句

和视频内容的语义差异。

（3）针对多条语句间存在语义不连贯、短语重复的问题，提出多样性约束的循环

记忆多语句视频描述方法（DCMR）。设计的方法不仅从时域角度捕捉视频内多个事件

之间的时序依赖关系，而且从频域角度对不同频率下的动作模式依赖关系进行建模，

使得生成的多条描述语句的语义连贯性更强；同时利用基于行列式点过程的损失函数

作为多样性约束，促使生成多样性描述语句，有效避免语句间的短语重复。

对于研究工作（1）（2），在户外活动数据集MSR-VTT、MSVD和日常室内活动

数据集Charades上做了大量定量、定性以及消融实验。依据评价指标BLEU、METEOR、

ROUGE-L和CIDEr上的实验结果，所提方法GMMP和SRTG均具有更好的视频描

述性能。具体而言，图卷积和时序高斯混合空洞卷积模块能有效捕捉视频长期时序信

息，多粒度词性信息能指导生成语法更准确的描述语句，元学习方法的引入可以减少

生成语句冗余，语义重构框架能够明显缩小视频和生成语句的语义差异。对于研究工

作（3），在户外活动数据集ActivityNetCaptions和烹饪数据集YouCookⅡ上进行了大

量实验，所获得的定量和定性结果证明，时域-频域记忆增强循环转换器能够加强多条

语句间的连贯性，而多样性约束可增加生成语句间的多样性，减少语句间的短语重复。

关键词：视频描述，深度学习，多粒度词性，高斯混合空洞卷积，多样性约束

ABSTRACT

Videocaptioningaimstoautomaticallygenerateoneormorenaturalsentencesthat

describevideocontentinanappropriateway,whichinvolvestechniquesincomputervision

andnaturallanguageprocessing.Itcanbewidelyappliedtomanypracticaltasks,suchas

videotitlegeneration,videoretrieval,visuallyimpairedassistance,andintelligentdefense.

Forsingle-sentenceandmulti-sentencevideocaptioningmethods,therearestillseveral

issuestobehandled,suchassentenceredundancy,semanticdifferencebetweengenerated

sentencesandvideo