目标识别与力估计使用 GelSight Baby Fin Ray.pdfVIP

目标识别与力估计使用GelSightBabyFinRay

SandraQ.Liu

DepartmentofMechanicalEngineering

MassachusettsInstituteofTechnologyUnitedStates

sqliu@

YuxiangMa

DepartmentofMechanicalEngineering

MassachusettsInstituteofTechnologyUnitedStates

yxma@

EdwardH.Adelson

本DepartmentofBrainandCognitiveSciences

译MassachusettsInstituteofTechnologyUnitedStates

adelson@

中

1

v

0Abstract:近期在软体机器人手和触觉传感方面的进展使得两者能够在机器

1

5学习的帮助下执行越来越多的复杂任务。特别是，我们在先前的工作[1]中

4介绍了GelSightBabyFinRay，它将相机与柔软、合规的FinRay结构相

1

.结合。基于相机的触觉感知赋予了GelSightBabyFinRay捕捉丰富的接触

9

0信息（如力、物体几何形状和纹理）的能力。此外，我们的先前工作表明，

5

2GelSightBabyFinRay能够穿过混乱环境，并对壳内坚果进行分类。为进

:

v一步考察GelSightBabyFinRay的潜力，我们利用学习来区分壳内坚果的

i

x纹理并执行力和位置估计。我们在流行的神经网络结构中实现了消融研究，

r

a包括ResNet50、GoogLeNet以及3层和5层层卷积神经网络（CNN）结构。

我们得出结论，机器学习是一种有前景的技术，可以从高分辨率触觉图像中

提取有用信息，并赋予软体机器人更好地理解和与环境互动的能力。

Keywords:触觉传感器，鱼鳍状结构，接触感应，物体感知

1介绍

仿鳍手指的设计灵感来自于鱼鳍的变形，其中鳍会根据施加在其结构上的力弯曲和适应[2]。

因此，仿鳍可以应用于不同的机器人任务，并且由于其结构简单，易于打印和原型制作。尽

管许多研究集中在机械行为优化上[3,4]，但将传感器集成到仿鳍中的工作却很少见。如果

具有触觉反馈，仿鳍将会受益，一些作品专注于添加力传感器或使用嵌入式相机和机器学习

来进行力估计[5,6]。

最近，已经有一些工作致力于将传统刚性的基于摄像头的传感器整合到各种软手指设计中

[7,8,9,10]。具体来说，基于摄像头的传感器可以提供更高分辨率的细节，分辨物体几何形

7thConferenceonRobotLearning(CoRL2023),Atlanta,USA.

状，并测量接触力[1