利用基于图的空域异常检测与纠正增强静态环境中的自我中心对象检测.pdfVIP

利用基于图的空域异常检测与纠正增强静态

环境中的自我中心对象检测

VishakhaLallYisiLiu

CentreofExcellenceinMaritimeSafetyCentreofExcellenceinMaritimeSafety

SingaporePolytechnicSingaporePolytechnic

SingaporeSingapore

vishakha_lall@sp.edu.sgliu_yisi@sp.edu.sg

摘要—在许多涉及静态环境的真实世界应用中，物体的空至关重要，并且传统的基于外观的模型可能由于视角失

本间布局在实例之间保持一致。然而，最先进的对象检测模型往往真或部分视图而失效。

译无法利用这种空间先验知识，导致预测不一致、漏检或误分类，这一挑战及其带来的机遇并不局限于海洋领域。在

尤其是在杂乱或遮挡的场景中。在这项工作中，我们提出了一种

中基于图的后处理流水线，该流水线显式地建模物体之间的空间关任何静态环境中，通过结合场景元素之间的空间关系，

1系以纠正第一人称视角帧中的检测异常。使用在手动注释数据上可以显著提升对象检测性能，使模型能够超越孤立的检

v

4训练的图神经网络（GNN），我们的模型识别无效的对象类别测进行推理。图提供了一种强大的抽象方法来建模视觉

2标签，并根据其邻域上下文预测修正后的类别标签。我们将这种场景中对象之间的关系。场景图已在图像描述生成[3]、

6

方法作为独立的异常检测和校正框架以及标准对象检测器（如

7视觉问答[4]和机器人技术[5]中得到广泛应用。在结

0YOLOv7和RT-DETR）的后处理模块进行了评估。实验表

.构化的室内环境中，空间图已显示出在表示房间布局或

8明，纳入这种空间推理显著提高了检测性能，在mAP@50上最

0多提升了4%。该方法突显了利用环境的空间结构以提高物体检对象共现[6]方面的潜力。我们的工作将这一理念扩展

5

2测系统的可靠性潜力。到静态环境，明确地将空间位移、角度、重叠和对象大

:IndexTerms—GNN,目标检测,YOLO,RT-DETR小建模为边特征，用于下游异常检测及纠正对象检测

v

i

x预测。

rI.介绍

a在本文中，我们提出了一种基于图的框架来建模静

高风险、高复杂度领域如海上导航需要严格验证态态环境的空间布局，例如使用以自我为中心视角视频的

势感知和正确使用关键系统。随着海上训练转向沉浸海事模拟器。通过将每个标注的对象视为空间图中的一

式、高保真模拟器，对于能够分析用户如何与船上仪器个节点，我们学习它们之间的结构关系，并利用这些信

互动并检测偏离标准操作行为的自动化系统的需求日

息进行两个下游任务：异常检测，识别新场景中的错误

益增长。然而，在这些环境中捕捉到的第一人称视频对标注对象；以及异常校正，基于空间上下文提出修正后

传统的计算机视觉流水线提出了挑战，因为存在遮挡、的标签。我们的方法在从海事桥模拟器收集的数据集上

视角变化和布局杂乱的问题。进行了评估，在该数据集中，移动参与者提供的以自我

以自我为中心的视觉已经成为从机器人技术到人为中心视角的视图被手动标注以创建丰富的空间场景

机交互等领域中情境和行为线索的一个丰富来源。先前表示