基于知识检索的多模态人物交互检测.pdfVIP

第52卷第1期北京化工大学学报（自然科学版）Vol.52，No.1

2025年JournalofBeijingUniversityofChemicalTechnology（NaturalScience）2025

引用格式：陈妍，高永彬.基于知识检索的多模态人物交互检测［J］.北京化工大学学报（自然科学版），2025，52（1）：113−121.

CHENYan，GAOYongBin.Multimodalhuman−objectinteractiondetectionbasedonknowledgeretrieval［J］.Journalof

BeijingUniversityofChemicalTechnology（NaturalScience），2025，52（1）：113−121.

基于知识检索的多模态人物交互检测

陈妍高永彬*

（上海工程技术大学电子电气工程学院，上海201620）

摘要：人物交互（human−objectinteraction，HOI）检测在复杂场景理解中发挥着至关重要的作用。目前的大多数

方法都以一阶段的方式将参数交互查询直接映射到一组HOI预测中，这导致丰富的交互结构没有被充分挖掘和利

用。对此可以通过多模态数据获取更多维度的信息，从而更全面地理解人物之间的交互行为。为此设计了一种

Transformer风格的HOI检测器，该检测器基于查询的方式检索对比语言图像预训练（CLIP）知识，然后执行交互建议

生成，通过结构感知网络将非参数交互建议转换为HOI预测。本文创新性地将CLIP知识迁移到HOI检测中，并通

过对整体语义结构和局部空间结构进行额外编码提高了预测结果的准确性。实验结果表明，所提模型在公共数据

集V-COCO上的准确率达到了64.83%，在HICO-DET数据集上的准确率达到了28.78%，与现有的HOI检测算法相

比展现出优越的性能，证明了该算法的有效性。

关键词：人-物体交互检测；计算机视觉；深度学习；目标检测；视觉关系

中图分类号：TP391.41DOI：10.13543/j.bhxbzr.2025.01.013

［9］

息，以支持交互理解。现有的研究利用组合的空

引言［10］［11］［12］

间特征、并集框特征或上下文特征来提高

人类是视觉世界的主要焦点，因此人物交互HOI检测的准确性。为了强调与交互相关的识别，

［13］［14］

（HOI）检测在高级场景理解中发挥着重要作用。研究人员还使用了人体姿态、人体部位和语言

［15］

HOI检测将人类活动定义为人类，物体，动词的三特征等特征。然而，两阶段方法的串行架构损害

元组，旨在定位和识别图像中人与物体之间的关了HOI检测的效率，因此具有更高效率的一阶段

［1］HOI检测方法引起了越来越多的关注。大多数传统

系。HOI检测在监视事件检测、机器人操纵和视

［2］策略