CN115599953B 视频文本检索模型的训练方法、检索方法及相关设备 （北京达佳互联信息技术有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN115599953B(45)授权公告日2025.07.04

(21)申请号202211183287.7GO6V10/74(2022.01)

(22)申请日2022.09.27(56)对比文件

(65)同一申请的已公布的文献号申请公布号CN115599953A

(43)申请公布日2023.01.13

(73)专利权人北京达佳互联信息技术有限公司地址100085北京市海淀区上地西路6号1

幢1层101D1-7

(72)发明人沈栋吴翔宇

CN113705187WO2022171067审查员胡武扬

A,2021.11.26

A1,2022.08.18

(74)专利代理机构北京润泽恒知识产权代理有

限公司11319专利代理师李娜

(51)Int.CI.

GO6F16/783(2019.01)

GO6V10/774(2022.01)权利要求书4页说明书16页附图3页

(54)发明名称

SI1

SI1

在所述第一视频特钲和所述第一文本特征中，确定出来源于同一第一视频样本的第二视频特征和第二文本特征，以及来源于不同第一视频样本的第三视频特征和第三文本特征；根插所述第二视频特征和所迷第二文本特征，确定出至少一个

确定出至少一个第二损失值；基于所述至少一个第一损失值和所述至少一个第二损失值，对所还待训练的文本特征提取模型的模型参数选行调整，得到已调练的文本特征提取模型

(57)摘要

115599953BCN本公开关于视频文本检索模型的训练方法、检索方法及相关设备，该训练方法包括：将第一视频样本输入预训练的视频特征提取模型，得到第一视频特征；将第一视频样本的描述文本数据输入待训练的文本特征提取模型，得到第一文本特征；在第一视频特征和第一文本特征中确定第二视频特征和第二文本特征以及第三视频特征和第三文本特征；根据第二视频特征和第二文本特征确定第一损失值，根据第三视频特征和第三文本特征确定第二损失值；基于第一损失值和第二损失值，调整待训练的文本特征提取模型的模型参数，得到已训练的文本特征提取模型；将预训练的视频特征提取模型和已训练的文本特征

115599953B

CN

CN115599953B权利要求书1/4页

2

1.一种视频文本检索模型的训练方法，其特征在于，包括如下步骤：

获取第一视频样本，以及所述第一视频样本对应的描述文本数据；

将所述第一视频样本输入预训练的视频特征提取模型，得到第一视频特征；

将所述第一视频样本对应的描述文本数据输入待训练的文本特征提取模型，得到第一文本特征；

在所述第一视频特征和所述第一文本特征中，确定出来源于同一第一视频样本的第二视频特征和第二文本特征，以及来源于不同第一视频样本的第三视频特征和第三文本特征；根据所述第二视频特征和所述第二文本特征，确定出至少一个第一损失值，根据所述第三视频特征和所述第三文本特征，确定出至少一个第二损失值；基于所述至少一个第一损失值和所述至少一个第二损失值，对所述待训练的文本特征提取模型的模型参数进行调整，得到已训练的文本特征提取模型；

将所述预训练的视频特征提取模型和所述已训练的文本特征提取模型作为视频文本检索模型，所述视频文本检索模型用于基于视频检索数据检索出目标文本数据，基于文本检索数据检索出目标视频数据；

在所述将所述第一视频样本输入预训练的视频特征提取模型，得到第一视频特征的步骤前，所述方法还包括：

获取第二视频样本分别对应的图像数据、内容文本数据和预设分类标签；

将所述图像数据和所述内容文本数据输入待训练的视频特征提取模型，得到预训练中的视频特征；

基于由所述预训练中的视频特征和所述预设分类标签对应的第三损失值，对所述待训练的视频特征提取模型的模型参数进行调整，得到预训练的视频特征提取模型。

2.根据权利要求1所述的方法，其特征在于，所述至少一个第一损失值包括第一视频文本损失值和第一文本视频损失值，所述根据所