基于人与物体交互动作的物体属性推测方法.pdfVIP

基于人与物体交互动作的物体属性推测方法 摘 要 人总是在和他所在场景里的物体进行交互，而人与物体的交互动作往往与人 和物体两者都有很强的关联。在看不到物体的情况下，我们能否通过观察人和物 体交互动作的骨骼动作序列，从而得知物体的属性呢？举例来说，当看不到箱子 时，我们是否可以通过观察人搬箱子时的骨骼动作序列，就能得知箱子的重量呢？ 本文就这个问题做出了详细的研究论述。 我们采集了一个大型的人与物体交互动作的数据集，其中包含视频数据和用 动作捕捉服采集到的三维人体骨骼动作序列数据。我们的数据集包含8 种人与物 体的交互动作，分别用来推断8 种不同的物体属性：重量、脆弱程度、宽度、长 度、液体类型、稳定程度、强度和水容量。 我们通过分析同一类动作来学习它们之间的细微差别，用以揭示正在与人交 互的物体中的潜在属性。针对“从人和物体的交互动作中推测物体属性”这一细 粒度分类任务，我们提出了两种人体行为识别方法（基于VGG 的方法和基于图 卷积的方法）。 在基于VGG 的方法中，我们将人体骨骼运动序列编码成若干灰度图片，用 预训练好的VGGNet 提取特征。实验结果表明，将人体骨骼的运动信息（如速度 等）显式编码，能够大幅度地提高物体属性推断地准确率。 基于图卷积的方法更加合理的利用到了人体骨骼关节之间的连接关系，而且 图卷积层后连接的GRU 层能够有效地从时间维度提取特征。我们通过实验评估 了不同的人体骨骼数据表示形式及网络结构上的微调对物体属性推断准确率的 影响。随后，我们把用于三维人体骨骼的方法推广到了二维骨骼。实验结果显示， 利用三维骨骼对二维骨骼进行数据增广后，能提升从二维骨骼序列来推测物体属 性的准确率。 我们的实验结果表明，人与物体的交互动作和物体本身，这两者之间是高度 关联的。物体潜在属性可以从人体三维骨骼的运动序列中单独推测出来。我们的 神经网络推断物体属性的准确率甚至高于用肉眼观察人体骨骼交互动作来推断 I 深圳大学硕士学位论文 物体属性的准确率。我们在该方向的研究目前只是进行了一小步，该技术的潜在 应用包括人的异常行为检测等。 关键词：人体交互动作；物体属性推测；动作分析；图卷积 II Learning to Infer Latent Object Properties from Human Interaction Motion Abstract Humans regularly interact with their surroundings. Such interactions often result in strongly correlated motion between humans and objects of interaction. We thus ask, “Is it possible to infer object properties from skeletal motion alone, even without seeing the interacting object itself?” For example, is it possible to infer the weight of a box from a lifting motion, even without seeing the box itself? We carried out detailed research on this question. We collected a large number of videos and 3D skeleton motion sequences, recording the actions performed by different actors using an inertial motion capture device and multiple cameras. Eight types of motion sequences were cap