通过光流改进触觉手势识别.pdfVIP

通过光流改进触觉手势识别

11121

ShaohongZhong,AlessandroAlbini,GiammarcoCaroleoGiorgioCannataandPerlaMaiolino

Abstract—触觉手势识别系统通过实现人类与机器人之间

直观的交流，在Human-RobotInteraction(HRI)中发挥着至

关重要的作用。文献主要通过将机器学习技术应用于分类编码

执行手势时产生的压力分布的触觉图像序列来解决这一问题。

然而，仅基于触觉图像提供的信息，某些手势可能难以区分。

在本文中，我们提出了一种简单而有效的方法来提高手势

识别分类器的准确性。我们的方法仅专注于处理用作分类器输

本入的触觉图像。特别是，我们建议通过计算密集光流来明确突

译出触觉图像中的接触动态。这些附加信息使得更容易区分产生

类似触觉图像但表现出不同接触动态的手势。我们在触觉手势

中识别任务中验证了所提出的方法，结果显示，在标准触觉图像

1上训练的分类器相比，使用包含光流信息增强的触觉图像训练

v的分类器在手势分类准确性方面提高了9%。

8

3

3I.介绍

4

0关于Human-RobotInteraction(HRI)的研究旨

.

8在实现人与机器人之间的平滑协作，使操作员能够以

0

5最自然的方式与机器人互动[1]。在这方面，大量文献

2研究了使用手势向机器人发送命令的技术[2],[3]。这

:

v些手势识别系统主要依赖于人体或手部动作的识别，

i

x并用于触发特定的机器人行为。大多数这些系统基于Fig.1.人类对机器人手臂施加的手势在每个时间点（如图所示的每个

r01s）生成一系列触觉图像。由触觉图像捕捉到的接触形状在这两种不同手

a通过RGB或RGB-D摄像头获得的视觉反馈[4]–[8]。势之间是相似的。然而，通过提出的强调图像绿蓝通道中接触动力学的表现

此外，文献中还考虑了基于从InertialMeasurement形式，差异变得更为明显——在04s之后，抓握手势的动力学消退了，而

推动手势中的动力学仍然存在。

Unit(IMU)和/或Electromyography(EMG)传感器

获取的信息进行的手势识别[9]–[11]。

物理交互是最自然的与机器人互动的方式（例如，移

除了对身体动作的分类之外，另一种可能性是通

动机械臂或教授一个动作[13]）。在这方面，研究人

过物理接触直接与机器人互动[12]。这种通信方式通

员已经开始利用触觉传感器来识别应用于机器人的手

常在需要近距离HRI的情况下更受欢迎，并且其中

势[14]。在文献中，提出了两种主要策略。第一种基

1iswiththeOxfordRoboticsInstitute(ORI),UniversityofOxford,于处理时序触觉数据[15]–[17]，其中一些还包含多模

UK.

2iswiththeDepartmentofInformatics,Bioengineering,Robotics态信息[18],[19]。第二种则基于对压力分布的处理和

andSystemsEngineering(DIBRIS),UniversityofGen