基于关系推理的视觉场景图生成方法结题报告.docVIP

基于关系推理的视觉场景图生成方法结题报告

一、研究背景与问题提出

在计算机视觉领域，图像理解的核心目标之一是让机器能够像人类一样，不仅识别图像中的物体，还能理解物体之间的语义关系。传统的图像识别技术，如目标检测算法，虽然能够精准定位图像中的各类物体，但在捕捉物体间复杂的交互关系方面存在明显短板。例如，在一张包含“人在公园喂鸽子”的图片中，目标检测可以识别出“人”“公园”“鸽子”等物体，却无法明确“人”与“鸽子”之间的“喂养”关系，以及“人”与“公园”之间的“位于”关系。这种对语义关系的缺失理解，极大限制了计算机视觉技术在更复杂场景中的应用，如智能机器人交互、自动驾驶场景理解、图像captioning（图像描述）等。

场景图（SceneGraph）作为一种结构化的图像表示形式，为解决上述问题提供了有效途径。场景图以图结构的形式存储图像中的物体（节点）及其之间的语义关系（边），能够将图像的视觉信息转化为可被机器理解的结构化数据。然而，当前的场景图生成方法仍面临诸多挑战。一方面，物体间的关系具有高度的复杂性和多样性，同一物体在不同场景下可能与其他物体形成完全不同的关系；另一方面，训练数据中存在严重的长尾分布问题，常见的关系（如“在……上面”“属于”）样本数量众多，而一些罕见的关系（如“修理”“赠送”）样本则极为稀少，导致模型在处理罕见关系时性能急剧下降。此外，现有方法大多依赖于局部视