基于视觉触觉属性估计模型研究.pdfVIP

深度视觉‑触觉学习：从图像中估计触觉

属桥邦之，Jethro

Tan

——通过视觉估计触觉属性（如光滑度或粗糙度）对于与环境有效交互至关重要。这

些触觉属性帮助我们决定应选择何种动作及如何执行。例如，若发现牵引力不足可行

驶，或若物品看起来光滑则握得更紧。我们认为这种能力也有助于机器人增强对环境的理

解，从而使其能根据当前情况调整动作。因此，我们提出一种仅通过视觉感知（如光滑度

或粗糙度等级）来估计触觉属性程度的模型。我们的方法扩展了编码器‑器网络，其

潜在变量为视觉与触觉特征。与先前工作不同，本方法无需人工标注，仅需RGB图像及对

应触觉传感器数据。所有数据均通过安装在Sawyer机器人末端执行器上的头和

uSkin触觉传感器，该机器人对25种不同材料表面进行滑动接触。通过评估特征空间，

我们证明该模型能泛化至训练数据未包含的材料，表明其已学会将重要触觉属性与图像关

联。1

一、引言

人类能够通过触觉感知诸如滑腻感和粗糙度等触觉属性[1]。然而，在积累足够的视觉‑触

觉经验后，人类还能仅通过视觉感知来关联这些属性