基于图卷积神经网络与特征分步融合的视频描述方法研究.pdf

摘要

视频描述是一个与计算机视觉、自然语言处理和机器学习等领域相关的多模

态信息处理任务，它可以将输入的视频自动生成与视频内容对应的文本描述。

观看视频时，人们能够获取视频中的整体视觉信息、运动信息、目标信息以

及目标之间的关系信息。由于视频中目标数量众多，而视频的事件通常发生在目

标密集的区域，为了方便理解视频内容，人们会重点关注密集的目标特征，因此，

这些目标的特征会被增强。此外，人脑会将获取的视频信息分别融合在一起，以

减少不同特征之间的干扰。基于这种人脑对视频的处理方式，本文提出了两种视

频描述方法：一种是增强视频目标特征的方法，另一种是分步融合视频特征的方

法。

（1）增强视频目标特征的视频描述方法。这种方法采用了双向Transformer

模型，由于目标特征具备图结构数据的特点，使用图卷积神经网络来加强目标特

征。同时，它还利用目标置信度来决策多个被检测目标的结果，以减少由于目标

特征不准确或虚假而导致的负面影响。并且该方法还使用了多头注意力机制，通

过学习目标特征的高层语义信息，从而帮助模型生成更准确的描述。

（2）分步融合视频特征的视频描述方法。这种方法基于Transformer模型，

并且考虑了视频特征的不同特性，使用多个神经网络编码视频特征，从而减少特

征融合时造成的信息丢失。该方法在多头注意力机制的基础上，提出了分步融合

特征的方法。除此以外，它还利用视频目标的关系特征作为先验知识，指导模型

生成视频描述。

本文提出的方法充分考虑了目标特征和目标关系特征，从而得到了更准确、

更完整的视频表示。实验结果表明，在MSVD和MSR-VTT这两个常用的数据

集上，这两种方法能够生成更为精细、内容更丰富的文本描述，使得生成的描述

文本更符合人类的语法规则。

关键词：视频描述；特征增强；特征融合；先验知识

I

Abstract

Videocaptioningisamultimodalinformationprocessingtaskrelatedto

computervision,naturallanguageprocessing,andmachinelearning.Itcan

automaticallygeneratetextualdescriptionscorrespondingtothecontentofinput

videos.

Whenpeoplewatchavideo,thecontenttheyseeincludestheoverallvisual

informationofthevideo,themotioninformationofthevideo,theobject

informationofthevideoandtherelationshipinformationbetweenthevideoobjects.

Usually,thenumberofobjectsinthevideoisverylarge,andthevideocontent

occursintheobjectdensearea,andtheobjectfeaturesinthisareawillbefocused

bythehumanbrain.Andaccordingtotheobjectfeaturesaroundeachobject,the

objectfeatureisenhanced.Atthesametime,afterobtainingthevideoinformation,

thehumanbrainwillfusethesemanticinformationofthevideorespectively

throughtheconnectionanddifferencebetweenthemtoh