CN119646474A 多模态数据的处理方法、装置、设备及存储介质 （北京有竹居网络技术有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119646474A

(43)申请公布日2025.03.18

(21)申请号202311191273.4

(22)申请日2023.09.14

(71)申请人北京有竹居网络技术有限公司

地址101299北京市平谷区林荫北街13号

信息大厦802室

(72)发明人杜正印袁泽寰

(74)专利代理机构北京远智汇知识产权代理有限公司11659

专利代理师刘欣

(51)Int.Cl.

G06F18/213(2023.01)

G06F16/53(2019.01)

G06F16/334(2025.01)

G06N3/04(2023.01)

G06N3/08(2023.01)

权利要求书2页说明书9页附图4页

(54)发明名称

多模态数据的处理方法、装置、设备及存储

介质

(57)摘要

CN119646474A本公开实施例提供了一种多模态数据的处理方法、装置、设备及存储介质。获取多模态数据；其中，所述多模态数据包括视觉数据和文本数据；将所述视觉数据输入多个视觉编码器进行特征提取，获得多个视觉特征；其中，所述多个视觉编码器互不相同；将所述多个视觉特征和所述文本数据输入多模态大语言模型，输出目标文本。本公开实施例提供的多模态数据的处理方法，通过多个不同的视觉编码器对视觉