基于多模态特征融合的视频摘要生成研究.pdfVIP

中原工学院硕士学位论文

摘要

面向视频理解的视频摘要任务需要从视频中提取出有意义的对象、场景、动作等高

级语义信息，并据此生成逻辑清晰、语义通顺的文本内容，也可以被称为视频描述。视

频描述生成是一个涉及计算机视觉和自然语言处理的交叉领域问题，它可以将视频内容

转化为文本表示，可以帮助视障人群理解视频内容。鉴于视频数据的时空特性与语义的

多样性、复杂性，其主要挑战在于如何有效地将视频的视觉信息与自然语言描述相结合，

以生成准确、流畅的描述。本文从多模态特征融合角度为视频生成文字摘要，研究内容

主要包括以下几个方面：

（1）针对视频中实体的文字描述与视频内容的语义相关性不足，以及多模态特征

融合效率低下等问题，本文提出了一种新颖的面向语义特性选择与注意力融合的视频描

述生成方法(MethodologyforVideoDescriptionGenerationwithSemanticFeatureSelection

andAttentionFusionSSAF)

，。首先，通过设计语义特征选择模块，从视频中选出文本描

述中存在的语义对象，并查询对应的动作表示。然后，使用跨模态注意力将语义特征与

动作特征相融合，将融合结果送入解码器生成语义描述。在公开数据集上与先进的方法

进行对比实验验证，结果表明本方法可有效缩小语义对象的视频表示与其文字表述之间

的语义差距，提高视频描述生成的准确性。

（2）针对模型泛化能力低的问题，为了简化SSAF中特征提取过程，本文提出了

一个融合注意力机制和对比学习的多模态特征融合视频描述模型的视频描述方法

(Multi-modalfeaturefusionVideodescriptionModelCombiningAttentionMechanismand

ContrastiveLearningMFFCL)TimeSformer

，。该方法使用编码器对输入视频提取时空特

征并进行特征选择，使用对比学习方法建立时空特征与文本描述的语义关联，通过GPT2

生成描述文本。结果表明该方法在多项评价指标上取得了优异的成果，可有效提高模型

泛化能力。

3

（）针对视频描述任务中训练过程中数据集不够丰富、数据集构建人工成本高等

问题，本文提出了多样化视频文本数据集构建方法。本文从互联网收集约10小时的教

学视频，语音识别后利用文本大模型生成多样化的描述内容，最终生成了包含5000个8

秒左右的视频片段及其英文描述语句的数据集。相较于现有手工标注的数据集方法，本

方法在提高数据标注标准化的同时，大幅降低了人工成本。此方法有助于机器学习模型

在处理视频描述任务时，学习到更为精准和一致的视觉概念表示，从而提高视频内容理

解的准确性和效率。

关键词：多模态特征融合；视频描述；特征选择；对比学习；数据集构建

I

中原工学院硕士学位论文

Abstract

Videosummarizationtasksaimedatvideocomprehensionrequiretheextractionof

meaningfulhigh-levelsemanticinformationsuchasobjects,scenes,andactionsfromvideos,

andthesubsequentgenerationoflogicallyclearandcoherenttextcontent,whichcanalsobe

referredtoasvideodescription.Videodescriptiongenerationisaninterdisciplinaryproblem

thatinvolvesbothcomputerv