CN119723275A 一种基于多模态大模型的素材识别方法 （上海旺脉信息科技集团有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119723275A

(43)申请公布日2025.03.28

(21)申请号202510246540.6

(22)申请日2025.03.04

(71)申请人上海旺脉信息科技集团有限公司

地址201712上海市青浦区天一路568号2

号楼2层2042号

(72)发明人吴超

(74)专利代理机构上海洞见未来专利代理有限

公司31467

专利代理师刘宏博

(51)Int.Cl.

G06V10/80(2022.01)

G06V10/82(2022.01)

G06N3/0464(2023.01)

G06N3/084(2023.01)

G06N3/0895(2023.01)

权利要求书3页说明书12页附图1页

(54)发明名称

一种基于多模态大模型的素材识别方法

(57)摘要

CN119723275A本发明公开了一种基于多模态大模型的素材识别方法，具体涉及数据处理技术领域；通过将广告素材的图像数据和关联文本数据输入多模态大模型，进行初步预处理和特征提取；利用卷积神经网络和自然语言处理技术，分别提取图像和文本的视觉特征与语义特征，并通过多模态对比学习策略，优化图像与文本特征的融合效果；通过对比损失函数验证特征对齐情况，并结合双路径微调机制与多标签分类监督，提升模型的识别