CN119918673A 基于多模态大模型和思维链的图文问答方法、设备及介质 （山东浪潮科学研究院有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119918673A

(43)申请公布日2025.05.02

(21)申请号202510002641.9

(22)申请日2025.01.02

(71)申请人山东浪潮科学研究院有限公司

地址250100山东省济南市高新浪潮路

1036号S02号楼

(72)发明人张吉臣张其来邵嘉豪段强姜凯魏子重李锐

(74)专利代理机构济南信达专利事务所有限公司37100

专利代理师孙园园

(51)Int.Cl.

G06N5/04(2023.01)

G06N5/045(2023.01)

G06F18/21(2023.01)

G06F16/583(2019.01)

权利要求书3页说明书8页附图1页

(54)发明名称

基于多模态大模型和思维链的图文问答方

法、设备及介质

(57)摘要

CN119918673A本发明公开了基于多模态大模型和思维链的图文问答方法、设备及介质，属于自然语言处理技术领域，本发明要解决的技术问题为如何提升复杂图文问答任务中的推理能力、答案的准确性以及可解释性，采用的技术方案为：收集图像以及与图像相关的问题文本；对图像进行预处理，并通过预训练的图像编码器ViT将预处理后的图像转换为图像token序列img_token；对与图像相关的