基于跨模态知识图谱的视觉问答中的常识推理与多跳查询研究综述.docVIP

基于跨模态知识图谱的视觉问答中的常识推理与多跳查询研究综述

视觉问答（VisualQuestionAnswering,VQA）作为连接计算机视觉与自然语言处理的交叉任务，旨在让模型根据输入图像回答自然语言问题。传统VQA模型多依赖图像特征与文本特征的直接融合，缺乏对外部知识的调用能力，在处理需要常识支撑、多步逻辑推导的复杂问题时表现不佳。随着跨模态知识图谱（Cross-ModalKnowledgeGraph,CMKG）技术的发展，将结构化知识与多模态信息融合成为提升VQA复杂推理能力的重要路径，其中常识推理与多跳查询作为核心挑战，成为近年来领域研究的热点。

一、跨模态知识图谱驱动的VQA任务基础框架

跨模态知识图谱是将视觉实体、文本概念以及多模态属性关系统一编码的结构化知识网络，相较于传统纯文本知识图谱，其不仅包含猫-属于-猫科动物这类文本关系，还存储了猫-视觉特征-尖耳、长尾这类视觉语义关联，为VQA任务提供了可解释的知识推理载体。当前基于CMKG的VQA系统普遍遵循感知-对齐-推理的三层基础架构：

感知层负责对输入图像进行目标检测、属性识别，提取实体级视觉特征，同时对问题文本进行分词、语义解析，识别问题中的实体、关系以及推理目标。以问题图中放在木质桌子上的水果可以用来做什么饮料？为例，感知层需要先检测出图像中的苹果木质桌子实体，同时解析出问题的推理路径包含识别水果种