CN119599027A 一种基于扩散模型的多模态编码对齐方法及装置 （中电信数智科技有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119599027A

(43)申请公布日2025.03.11

(21)申请号202411815985.3

(22)申请日2024.12.11

(71)申请人中电信数智科技有限公司

地址100036北京市海淀区复兴路33号13

层东塔13层1308室

(72)发明人林笑杜忠田康辉陈利明

(74)专利代理机构北京知汇林知识产权代理事务所(普通合伙)11794

专利代理师李学秀

(51)Int.Cl.

G06F40/30(2020.01)

G06F40/126(2020.01)

G06F17/18(2006.01)

G06N3/045(2023.01)

G06N3/0475(2023.01)

权利要求书2页说明书10页附图3页

(54)发明名称

一种基于扩散模型的多模态编码对齐方法

及装置

(57)摘要

CN119599027A本发明涉及一种基于扩散模型的多模态编码对齐方法及装置，属于多模态编码对齐技术领域，该方法包括：获取待进行语义编码的多模态数据，使用预先训练的多模态编码对齐模型对待进行语义编码的多模态数据进行条件扩散生成文本编码；将文本编码输入大模型解码器或作为RAG编码进行下游任务；其中，生成的文本编码作为多模态数据语义编码使用，与文