Surformer v1：基于 Transformer 的表面分类使用触觉和视觉特征.pdfVIP

Surformerv1：基于Transformer的表面分类使

用触觉和视觉特征

ManishKansana,EliasHossain,ShahramRahimi,NoorbakhshAmiriGolilarz

DepartmentofComputerScienceandEngineering,MississippiStateUniversity,MS,USA

{mk1684,mh3511}@msstate.edu

DepartmentofComputerScience,TheUniversityofAlabama,Tuscaloosa,AL,USA

{srahimi1,noor.amiri}@ua.edu

摘要—表面材料识别是机器人感知和物理交互的关键组成到，尤其是在有遮挡、光线不足或镜面反射的情况下。

部分，特别是在利用触觉和视觉感官输入时。在这项工作中，我另一方面，视觉提供了全局上下文和外观线索，因此将

本们提出了Surformerv1，一种基于Transformer的架构，用视觉与触觉感应结合是一种强大的材料识别和机器人

于通过结构化的触觉特征和通过ResNet50提取的主成分分析

译感知解决方案。

（PCA）降维后的视觉嵌入进行表面分类。该模型集成了特定模

中式的编码器与跨模态注意力层，使视觉和触觉之间的丰富交互近期的研究广泛探索了基于视觉和基于触觉的模

1成为可能。目前，针对视觉任务的最先进的深度学习模型已经取型。仅依赖视觉的模型[1],[2]，特别是那些利用深度卷

v

6得了显著的表现。鉴于此，我们最初的实验仅专注于触觉表面分积神经网络（CNNs）和视觉变换器的模型，在图像识

6类。通过特征工程，我们训练并评估了多个机器学习模型，评估别任务中表现出色。然而，它们对视觉特征的依赖使它

5了它们的准确性和推理时间。然后，我们实现了一个专门针对触

6们容易受到遮挡、光照变化和镜面噪声的影响。另一方

0觉特性的编码器专用Transformer模型。该模型不仅实现了最

8.高的准确性，而且与所评估的其他模型相比展示了显著更快的面，仅基于触觉的模型在操作、物体理解、抓取和关键

0推理时间，突显其在实时应用中的潜力。为了扩展这一研究，我需要物理接触的触觉数据分类任务中展现出了鲁棒性

5

2们通过结合视觉和触觉输入引入了多模态融合设置。我们训练[3],[4],[5],[6]。例如，基于GelSight的触觉传感器已经

:了Surformerv1（使用结构化特征）和MultimodalCNN能够提取高分辨率的表面变形信息，这对于材料属性推

v

i（使用原始图像），以考察基于特性和基于图像的多模态学习对

x断极具参考价值。

r分类准确性和计算效率的影响。结果显示，Surformerv1实

a现了99.4%的准确性，推理时间为0.77毫秒，而Multimodal为了充分利用两种感知模态的优势，多模态学习策

CNN实现了略高的准确性但需要显著更长的推理时间。这些发略被引入以提高对表面和对象的理解。早期的努力采

现表明，Surformerv1在表面材料识别方面提供了精度、效率用了简单的特征级融合（例如拼接）或决策级融合技术

和计算成本之间的令人信服的平衡。结果还强调了将特征学习、[7],[8]，但这些方法往往无法捕捉到异构模态之间的细

跨模态注意力和基于Transformer的融合结合起来捕捉触觉和

微关系。更先进的融合架构已经被提出，包括使用基

视觉模式互补优势的有效性。