CN119938985B 一种基于人脑情景记忆通路启发的文本视频检索方法 （南京信息工程大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN119938985B(45)授权公告日2025.07.01

(21)申请号202510416357.6

(22)申请日2025.04.03

(65)同一申请的已公布的文献号申请公布号CN119938985A

(43)申请公布日2025.05.06

(73)专利权人南京信息工程大学

地址210044江苏省南京市浦口区双峰路

69号

(72)发明人荣欢刘怡辰马廷淮

(74)专利代理机构南京纵横知识产权代理有限公司32224

专利代理师周宠

(51)Int.CI.

GO6F16/783(2019.01)

GO6V20/40(2022.01)

GO6F40/30(2020.01)

GO6F18/22(2023.01)

(56)对比文件

CN118377930A,2024.07.23CN116910307A,2023.10.20

审查员倪赛华

权利要求书5页说明书14页附图4页

(54)发明名称

一种基于人脑情景记忆通路启发的文本视频检索方法

(57)摘要

CN119938985B本发明公开了一种基于人脑情景记忆通路启发的文本视频检索方法，方法包括利用内容编码组件对目标文本数据或目标视频数据进行内容表征提取获得多尺度目标表征；利用情境编码组件对目标文本数据或目标视频数据进行情境表征提取获得目标令牌；将多尺度目标表征和目标令牌输入至双曲图神经网络获得目标场景表征；将目标场景表征作为目标索引；计算待检索文本或视频的表征与目标索引的相似度，根据相似度对待检索文本或视频进行筛选获得目标检索结果；本发明通过多粒度信息融合全面捕捉的多层次语义特征，通过双曲图卷积操作融合多模态、多粒度的高阶信息，能够更好地捕捉文本和

CN119938985B

将文本训练数据和视频训练数据输入至第一内容编码组件获得文本全局表征和视觉全局表征；

通过句法分析器将文本训练数据获得短语以及单词矩阵掩码；将短语输入至第二内容编码组件获得文本语义单元表征：

通过K均值算法将视觉全局表征分割为视觉语义单元表征；

将文本语义单元表征和视觉语义单元表征输入至第三内容编码组件后，并与文本全局表征和视觉全局表征相加获得文本事件表征与视觉事件表征；

将视频训练数据以及文本训练数据与词矩阵掩码分别输入至情境编码组件获得文本令牌表征和视觉令牌表征

将文本事件表征、文本语义单元表征、视觉事件表征、视觉语义单元表征、

文本令牌表征和视觉令牌表征作为节点特征映射至双曲空间构建邻接矩阵；

将邻接矩阵和节点特征输入至双曲图神经网络，通过双曲图卷积操作和池化操作获得文本场景表征和视觉场景表征；

根据各场景表征计算训练损失值；根据训练损失值优化文本视频检索模型的权重参数，重复迭代直至达到训练终止条件输出训练后的文本视频检索模型；

获得目标文本数据或目标视频数据并输入至文本视频检索模型获得目标索

引；计算待检索文本或视频的表征与目标索引的相似度，根据相似度对待

检索文本或视频进行筛选获得目标检索结果；

CN119938985B权利要求书1/5页

2

1.一种基于人脑情景记忆通路启发的文本视频检索方法，其特征在于，包括：

获得目标文本数据或目标视频数据并输入至文本视频检索模型，所述文本视频检索模型包括内容编码组件、情境编码组件和双曲图神经网络；

利用内容编码组件对目标文本数据或目标视频数据进行内容表征提取获得多尺度目标文本表征或多尺度目标视觉表征；

利用情境编码组件对目标文本数据或目标视频数据进行情境表征提取获得目标文本令牌或目标视觉令牌；

将多尺度目标文本表征和目标文本令牌输入至双曲图神经网络获得目标文本场景表征；或者将多尺度目标视觉表征和目标视觉令牌输入至双曲图神经网络获得目标视觉场景表征；将目标文本场景表征或目标视觉场景表征作为目标索引；

计算待检索文本或视频的表征与目标索引的相似度，根据相似度对待检索文本或视频进行筛选获得目标检索结果；

所述文本视频检索模型的训练过程包括：

获取文本训练数据和视频训练数据并输入至内容编码组件获得单词矩阵掩码、文本事件表征、文本语义单元表征、视觉事件表征和视觉语义单元表征；

将视频训练数据以及文本训练数据与单词矩阵掩码分别输入至情境编码组件获得文本令牌表征和视觉令牌表征；

将文本事件表征、文本语义单元表征、视