多模态几何学习在机器人抓取与操作中应用.pdfVIP

2019国际机器人与自动化会议（ICRA）蒙特利尔会议，蒙特利尔，

5月

2019年20‑24日

多模态几何学抓取和操作中的应用

DavidWatkins‑Valls，JacobVarley，PeterAllen

—本文了一种架构，该架构结合了深度和触觉信

息，以创建对机器人操作任务有用的丰富且准确的3D模型。这

是通过使用3D卷积神经网络（CNN）来实现的。离线时，网

络接收深度和触觉信息，并训练预测物体的几何形状，从而填

补遮挡区域。在运行时，网络接收物体的部分视图。获取触觉

信息以增强捕获的深度信息。然后，网络可以通过利用收集到

的触觉和深度信息来推断物体的几何形状。我们展示了即使少

量的额外触觉信息也对推断物体几何形状非常有帮助。当仅靠

深度信息无法产生准确的几何预测时，这一点尤为明显。我们

的方法与其他方法进行了基准测试，并表现更优。

情况深度和仅深度触觉和深度

触觉云补全完成