CN120068973B 多模态识别模型训练方法、多模态数据识别方法及相关设备 （鹏城实验室）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN120068973B(45)授权公告日2025.07.01

(21)申请号202510535064.X

(22)申请日2025.04.27

(65)同一申请的已公布的文献号申请公布号CN120068973A

(43)申请公布日2025.05.30

(73)专利权人鹏城实验室

地址518000广东省深圳市南山区兴科一

街2号

(72)发明人蒋冬梅黄思宏魏骁勇王耀威蔡毅胡孟豪梁达勇曾雨诗

(74)专利代理机构广州嘉权专利商标事务所有限公司44205

专利代理师孙浩

(51)Int.CI.

GO6N3/08(2023.01)

GO6F18/25(2023.01)

GO6F18/214(2023.01)

GO6F18/2113(2023.01)

GO6N3/045(2023.01)

(56)对比文件

CN115082693A,2022.09.20CN117093692A,2023.11.21审查员胡武扬

权利要求书4页说明书20页附图7页

(54)发明名称

多模态识别模型训练方法、多模态数据识别方法及相关设备

(57)摘要

CN120068973B本申请实施例提出的多模态识别模型训练方法、多模态数据识别方法及相关设备，方法包括：获取多条多模态训练样本对；基于多模态识别模型中的多粒度输出模型，将每条多模态训练样本对进行第一特征提取和第二特征提取，得到对应处理粒度不同的第一特征数据和第二特征数据，将每个第一特征数据和对应的第二特征数据进行混合处理，得到多粒度混合输出；基于多模态识别模型中的特征级混合模型，将每条多模态训练样本对进行特征级混合处理，得到每条多模态训练样本对应的特征级混合输出；基于多粒度混合输出和特征级混合输出计算得到多模态

CN120068973B

获取多条多模态训练样本对

获取多条多模态训练样本对

基于多模态识别模型中的多粒度输出模型，将每条多模

态训练样本对进行第一特征提取，得到第一特征数据，

将每条多模态训练样本对进行第二特征提取，得到第二

特征数据，将每个第一特征数据和对应的第二特征数据

进行混合处理，得到多粒度混合输出

基于多模态识别模型中的特征级混合模型，将每条多模态

训练样本对进行特征级混合处理，得到每条多模态训练样

本对应的特征级混合输出

基于多粒度混合输出和特征级混合输出计算得到多模态损失，并基于多模态损失对多模态识别模型进行更新

102

103

CN120068973B权利要求书1/4页

2

1.一种多模态识别模型训练方法，其特征在于，所述方法包括：

获取多条多模态训练样本对，所述多模态训练样本对包括图像训练样本和对应的文本训练样本；

基于多模态识别模型中的多粒度输出模型，将每条所述多模态训练样本对进行第一特征提取，得到第一特征数据，将每条所述多模态训练样本对进行第二特征提取，得到第二特征数据，将每个所述第一特征数据和对应的所述第二特征数据进行混合处理，得到多粒度混合输出，所述第一特征提取和所述第二特征提取的处理粒度不同；

基于所述多模态识别模型中的特征级混合模型，将每条所述多模态训练样本对进行特征级混合处理，得到每条所述多模态训练样本对应的特征级混合输出；

基于所述多粒度混合输出和所述特征级混合输出计算得到多模态损失，并基于所述多模态损失对多模态识别模型进行更新；

所述将每个所述第一特征数据和对应的所述第二特征数据进行混合处理，得到多粒度混合输出，包括：

获取专家选择模型，将所述多模态训练样本对输入所述专家选择模型中进行图文关联处理，得到所述第一特征提取对应的第一特征权重和所述第二特征提取对应的第二特征权

重；

基于所述第一特征权重和所述第一特征提取输出的乘积，再加上所述第二特征权重和所述第二特征提取输出的乘积，得到所述多粒度混合输出；

所述多模态识别模型的多层感知机为混合专家模块的多层感知机，所述将每条所述多模态训练样本对进行特征级混合处理，得到每条所述多模态训练样本对应的特征级混合输出，包括：

将所述多模态训练样本对输入所述特征级混合模型进行识别处理，得到多个特征专家模型输出，至少两个所述特征专家模型输出不同；

获取门控权重矩阵，基于所述门控权重矩阵和所述多个特征专家模型输出的乘积，并进行归一化处理得到门控参数；

累加所有的所述特征专家模型输出与对应的所