2025年多模态大模型跨模态推理试题及答案解析.docxVIP

2025年多模态大模型跨模态推理试题及答案解析

第一部分基础跨模态推理题（1-3题）

1.图像-文本匹配推理

给定图像内容：清晨公园场景中，一棵枝繁叶茂的梧桐树下，穿灰色运动服的老人正单手托着鸟笼（鸟笼门半开，笼内有黄色羽毛的小鸟），旁边木质长椅上放着一本打开的《论语》（书页停留在“学而时习之”章节），右侧穿粉色连衣裙的小女孩蹲在地上，用树枝拨弄一只黑色流浪猫（猫的尾巴轻微翘起，眼神放松）。

问题：以下哪段文本最准确描述图像中的跨模态关联？

A.老人在公园读《论语》，小猫因被拨弄而炸毛逃跑

B.小女孩用树枝逗猫时，笼中黄鸟正试图飞出半开的鸟笼

C.梧桐树下的老人带着关着门的鸟笼，长椅上的书翻到“为政以德”章节

D.穿运动服的老人、读《论语》的小女孩与放松的流浪猫构成公园清晨场景

答案：B

解析：跨模态推理需同时匹配视觉细节与文本语义。图像中鸟笼门半开、笼内有黄鸟，对应“试图飞出”的动态；小女孩用树枝拨弄猫的动作与“逗猫”一致，且猫“尾巴轻微翘起、眼神放松”说明未逃跑（排除A）。C选项“鸟笼门关闭”“章节错误”与图像矛盾；D选项“读《论语》的是老人而非小女孩”，文本与视觉主体错位。模型需通过视觉编码器提取鸟笼状态（门半开）、鸟的颜色（黄色）、人物动作（老人托鸟笼而非读书）等特征，再与文本进行语义对齐，最终锁定B。

2.视频-文本因果推理

视频片段（30秒）：镜头1（0-5秒）——厨房台面上，蓝色瓷碗中盛有生鸡蛋液（表面有明显搅拌气泡），旁边放着一袋未拆封的低筋面粉；镜头2（6-15秒）——穿围裙的女士将面粉倒入蛋糊，用打蛋器顺时针搅拌（碗内逐渐形成无颗粒的面糊）；镜头3（16-25秒）——女士将面糊倒入预热的圆形烤模，放入烤箱（烤箱显示屏显示温度180℃）；镜头4（26-30秒）——烤箱工作中，玻璃门内面糊体积膨胀约1.5倍。

问题：根据视频内容，以下哪项最可能是视频后续（31-40秒）的画面？

A.女士打开烤箱，取出表面开裂、颜色金黄的蛋糕

B.面糊因温度过高焦糊，烤箱内冒出黑烟

C.女士向面糊中加入泡打粉，继续搅拌

D.烤箱显示屏温度降至50℃，女士取出未膨胀的面糊

答案：A

解析：跨模态因果推理需识别视频中的时间序列逻辑与常识知识。视频前序步骤为“搅拌蛋糊→加面粉→倒入烤模→烤箱180℃烘烤”，面糊膨胀（镜头4）是蛋糕烘烤的典型中间状态（面糊中的气泡受热膨胀）。根据烘焙常识，180℃烘烤约20-30分钟后，蛋糕会定型并呈现金黄表面（A符合）。B中“焦糊”需温度过高（如超过220℃）或时间过长（视频仅30秒，未到焦糊阶段）；C中“加泡打粉”应在搅拌初期（已完成搅拌步骤，后续无需重复）；D中“温度降至50℃”不符合烤箱持续加热逻辑（烘烤需恒温）。模型需通过视频帧提取“面糊膨胀”“烤箱温度”等动态特征，结合“蛋糕制作流程”的常识知识库，推断后续最合理的结果。

3.多模态常识补全推理

图像：雨天街道，穿红色雨衣的男孩站在公交站台（站台顶有透明雨棚），左手拎着装满蔬菜的塑料袋（袋口未扎紧，露出半截胡萝卜），右手举着长柄雨伞（伞面向上倾斜约45度，伞尖指向站台外）。

音频：背景音为“哗啦啦”的雨声、公交车报站声（“下一站：幸福路小学”）、男孩的手机铃声（《小星星》旋律）。

问题：根据图像与音频信息，补全以下文本中缺失的逻辑环节：“男孩因____，所以需要举伞倾斜指向站台外”。

答案：防止雨伞滴水打湿站台内等待的人

解析：跨模态常识推理需结合视觉空间关系与生活经验。图像中，男孩站在有雨棚的站台内，但雨伞倾斜指向外侧，需解释其行为动机。视觉特征显示：雨棚可遮挡上方雨水，但长柄雨伞若垂直握持，伞面滴落的雨水会因重力流向伞尖（即站台内方向），可能打湿旁边等待的人。结合音频中的“公交站台”场景（多人等待），男孩倾斜伞尖向外是为避免雨水滴到同站台的人。模型需分析“伞的角度”“雨棚功能”“站台人群”等多模态信息，调用“雨天公共场合行为规范”的常识（如“避免雨伞滴水影响他人”），完成逻辑补全。

第二部分进阶跨模态推理题（4-6题）

4.跨模态矛盾检测

图像：客厅场景，白色沙发上堆着三床厚棉被（棉被表面有明显褶皱，其中一床露出“XX牌羽绒被（填充物：90%白鸭绒）”的标签），茶几上放着温度显示为32℃的电子温度计，窗外可见强烈阳光（窗帘完全拉开）。

文本：“由于近日寒潮来袭，小明一家将薄夏凉被换成厚羽绒被保暖。”

问题：图像与文本存在哪两处矛盾？请结合多模态信息说明。

答案：矛盾一：环境温度矛盾。图像中温度计显示32℃（高温），文本称“寒潮来袭”（应低温）；矛盾二：棉被状态矛盾。图像中棉被“表面褶皱、随