基于场景图生成的视觉理解研究综述.docVIP

基于场景图生成的视觉理解研究综述

场景图生成的技术定义与核心架构

场景图生成（SceneGraphGeneration,SGG）是计算机视觉领域中面向高层次语义理解的核心任务，其目标是将输入图像转化为结构化的语义表示图，其中节点代表图像中的实体对象（如人、汽车、建筑），边表示实体之间的语义关系（如“人-驾驶-汽车”“汽车-停在-建筑前”）。这种结构化表示打破了传统图像分类、目标检测任务仅输出孤立实体标签的局限性，能够建模视觉元素之间的关联逻辑，为后续的视觉问答、图像检索、人机交互等下游任务提供可解释的语义基础。

当前主流的场景图生成技术框架遵循“三阶段”处理流程：第一阶段为实体检测，通过FasterR-CNN、YOLO系列等目标检测模型识别图像中的所有感兴趣对象，输出每个对象的边界框、类别标签及视觉特征向量；第二阶段为关系候选提取，基于检测到的实体对生成潜在的关系候选，早期方法多采用穷举所有实体对的策略，后续研究则通过空间位置过滤、语义先验匹配等方式减少无效候选，提升计算效率；第三阶段为关系推理，利用图神经网络、注意力机制或知识图谱先验对候选关系进行分类，最终输出结构化的场景图。近年来，端到端SGG模型逐渐成为研究热点，这类模型将实体检测与关系推理整合到统一网络中，避免了阶段之间的误差累积，在公开数据集上的平均召回率相比传统多阶段模型提升了15%以上。

场景图生成的核心技术