结合瓶颈注意力的端到端机械臂视觉伺服研究.pdfVIP

ComputerEngineeringandApplications计算机工程与应用2024，60（4）347

结合瓶颈注意力的端到端机械臂视觉伺服研究

121

刘炳坤，皮家甜，徐进

1.重庆师范大学计算机与信息科学学院，重庆401331

2.重庆国家应用数学中心（重庆师范大学），重庆401331

摘要：针对传统视觉伺服算法特征提取步骤繁琐、实时性能差的情况，提出了一种基于卷积神经网络的端到端直

接视觉伺服算法，通过直接预测安装在机械臂末端相机的瞬时线速度与瞬时角速度来进行伺服定位工作，不需要标

记手工特征、相机固有参数或深度信息。将相机观测到的图像输入改进的GhostNet轻量级特征提取网络进行信息

提取，在网络中融入瓶颈注意力模块来增强目标物体的空间信息和通道信息；采用全连接层作为速度回归函数对线

速度、角速度进行解耦回归；在真实环境下采用一种实时捕捉方法制作训练所需的数据集，速度标签根据基于位置

的视觉伺服控制律算法生成，训练好的网络可使机械臂在未经训练的初始位姿下完成高效、精确的定位和跟踪任

务。大量真实场景下的实验测试结果验证了该算法的有效性，且对场景背景信息具有一定的鲁棒性。

关键词：视觉伺服；深度学习；注意力机制；机械臂控制

文献标志码：A中图分类号：TP242doi：10.3778/j.issn.1002-8331.2207-0459

End-to-EndRoboticArmVisionServoResearchCombinedwithBottleneckAttentionMechanism

121

LIUBingkun,PIJiatian,XUJin

1.CollegeofComputerandInformationScience,ChongqingNormalUniversity,Chongqing401331,China

2.NationalCenterforAppliedMathematicsinChongqing(ChongqingNormalUniversity),Chongqing401331,China

Abstract：Aimingatthecumbersomefeatureextractionstepsandpoorreal-timeperformanceoftraditionalvisualservoing

algorithms,anend-to-enddirectvisualservoingalgorithmbasedonconvolutionalneuralnetworkisproposed.Bydirectly

predictingtheinstantaneouslinearvelocityandinstantaneousangularvelocityofthecamerainstalledattheendofthero-

boticarm,servopositioningworkswithouttheneedtolabelhandcraftedfeatures,cameraintrinsics,ordepthinformation.

Firstly,theimageobservedbythecameraisinputintotheGhostNetfeatureextractionnetworkforinformationextraction,

andthebottleneckattentionmodule(BAM)isintegratedintothenetworktoenhancethespatialinformationandchannel

informationofthetargetobject.Then,thefullyconnectedlayerisusedasthespeedregressionfunction,thelinearvelocity

andangularvelocityaredecoupledan