CN119809925A 一种多模态模型视觉感知能力增强方法、设备及介质 （华南理工大学）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119809925A

(43)申请公布日2025.04.11

(21)申请号202411826999.5

(22)申请日2024.12.12

(71)申请人华南理工大学

地址510641广东省广州市天河区五山路

381号

(72)发明人谭明奎陈卓琨胡晋武邓泽帅王宇丰杜卿

(74)专利代理机构广州嘉权专利商标事务所有限公司44205

专利代理师郑宏谋

(51)Int.Cl.

G06T3/4038(2024.01)

G06T3/4053(2024.01)

G06T5/50(2006.01)

G06V10/80(2022.01)

G06N5/04(2023.01)

G06N3/0455(2023.01)

G06N3/0464(2023.01)

G06N3/08(2023.01)

权利要求书2页说明书9页附图1页

(54)发明名称

一种多模态模型视觉感知能力增强方法、设

备及介质

(57)摘要

CN119809925A本发明公开了一种多模态模型视觉感知能力增强方法、设备及介质，其中方法包括：采集图像数据，并根据图像提出文本问题；挑选基于同一语言模型训练的多个多模态语言大模型，并合并语言模型的参数；基于输入图像，利用多个视觉编码器