CN116450883B 基于视频内容细粒度信息的视频时刻检索方法 （西安电子科技大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN116450883B(45)授权公告日2025.07.04

(21)申请号202310448759.5

(22)申请日2023.04.24

(65)同一申请的已公布的文献号申请公布号CN116450883A

(43)申请公布日2023.07.18

(73)专利权人西安电子科技大学

地址710071陕西省西安市雁塔区太白南

路2号

(72)发明人何立火李宇航邓夏迪王笛高新波路文

GO6V20/40(2022.01)

GO6V10/82(2022.01)GO6N3/0464(2023.01)GO6N3/08(2023.01)

GO6V10/80(2022.01)GO6F40/289(2020.01)

(56)对比文件

CN112650886A,2021.04.13CN115935001A,2023.04.07审查员王永贵

(74)专利代理机构西安智大知识产权代理事务

所61215专利代理师王晶

(51)Int.CI.

GO6F16/783(2019.01)权利要求书3页说明书8页附图1页

(54)发明名称

基于视频内容细粒度信息的视频时刻检索方法

(57)摘要

CN116450883B基于视频内容细粒度信息的视频时刻检索方法，包括以下步骤；步骤1,构建训练集和测试集，并选取原始视频；步骤2,对原始视频进行特征预提取，得到关键帧特征和帧内物体；步骤3,构建文本特征提取模块，使用预训练词嵌入模型来将查询语句映射到嵌入空间中，完成特征提取，并得到文本特征：步骤4,构建文本词性标注模块，标注查询语句中的名词；步骤5,构建跨模态特征融合模块，得到跨模态细粒度内容特征；步骤6,构建词义匹配模块，通过词义匹配生成相关性权重；步骤7,构建时刻检索指导模块计算整个视频对应的相关性内容细粒度特征。本发明通

CN116450883B

性。

文本查询数

文本查询数据

文本特征提

文本词性标

视频时刻检索

关键帧特征

视频细粒度信息提取

视频数据

跨模态特征融合

帧内物体

词义匹配

CN116450883B权利要求书1/3页

2

1.基于视频内容细粒度信息的视频时刻检索方法，其特征在于，包括以下步骤；

步骤1,选取Charades-STA数据集构建训练集和测试集，并选取原始视频V;

步骤2,构建视频细粒度信息提取模块，使用YOLOv5目标检测网络对原始视频V进行特征预提取，得到原始视频V的关键帧特征F和帧内物体0°;

步骤3,构建文本特征提取模块，使用预训练词嵌入模型来将查询语句S映射到嵌入空间中，完成特征提取，并得到文本特征Q:

步骤4,构建文本词性标注模块，标注查询语句S中的名词H;

步骤5,构建跨模态特征融合模块，将步骤2中的视频关键帧F特征和步骤3中的文本特征Q进行融合，得到跨模态细粒度内容特征F;

步骤6,构建词义匹配模块，通过步骤2中的帧内物体0°和步骤4中查询语句中提取的名词H,通过词义匹配生成相关性权重Y;

步骤7,通过跨模态内容细粒度特征F和相关性权重Y构建时刻检索指导模块计算整个视频对应的相关性内容细粒度特征F。

2.根据权利要求1所述的基于视频内容细粒度信息的视频时刻检索方法，其特征在于，所述步骤1中，Charades-STA数据集是基于Charades数据集进行时间标注构建的，Charades数据集包括动作种类，视频和“查询，视频片段”对；在部分视频中，需要做结构化的复杂查询，即每个查询包含至少两个子句，并且“查询，视频片段”对时间跨度小于视频长度的一半。

3.根据权利要求1所述的基于视频内容细粒度信息的视频时刻检索方法，其特征在于，所述步骤2具体为：

步骤2.1,对原始视频按照间隔t帧进行等间隔采样，视频的总帧数为T,取出的关键帧图片为C={C,C2,.…,C},其中n.为取出的总帧数；

步骤2.2,使用YOL0v5目标检测网络提取关键帧特征F和帧内物体0。

4.根据权利要求3所述的基于视频内容细粒度信息的视频时刻检索方法，其特征在于，步骤2.2.1,将关键帧图片C送入YOLOv5目标检测网络，主干网络采用C