基于多维投影时空事件帧的动态视觉传感手势识别.docx

第36

第36卷第3期2024年3月

Vol.36No.3Mar.2024

JournalofSystemSimulation

基于多维投影时空事件帧的动态视觉传感手势识别

康来1,2，张亚坤3

(1.国防科技大学系统工程学院，湖南长沙410073；2.国防科技大学大数据与决策实验室，湖南长沙410073；

3.中国人民解放军61081部队，北京100089)

摘要：基于视觉的手势识别是虚拟现实、游戏仿真等领域常用的人机交互手段。在实际应用中，手势动作快速变化将导致传统RGB相机或深度相机成像模糊，给手势识别带来巨大挑战。针对上述问题，利用动态视觉传感器捕捉高速手势运动信息，提出一种基于多维投影时空事件帧(spatiotemporaleventframe,STEF)的动态视觉数据手势识别方法。将时空信息嵌入到数据投影面融合形成多维投影时空事件帧，克服现有动态视觉信息事件帧表达方法时域信息丢失的局限性，提升动态视觉传感数据的特征表达能力。在此基础上，采用先进的脉冲神经网络对时空事件帧进行分类实现手势识别。在公开数据集上的识别精度达到96.67%，性能优于同类方法，表明该方法可显著提升动态视觉传感数据手势识别准确率。

关键词：动态视觉传感器；手势识别；多维投影；时空事件帧；脉冲神经网络

中图分类号：TP391文献标志码：A文章编号：1004-731X(2024)03-0649-10

DOI:10.16182/j.issn1004731x.joss.23-0223

引用格式:康来,张亚坤.基于多维投影时空事件帧的动态视觉传感手势识别[J].系统仿真学报,2024,36(3):649-658.Referenceformat:KangLai,ZhangYakun.GestureRecognitionforDynamicVisionSensorBasedonMulti-dimensionalProjectionSpatiotemporalEventFrame[J].JournalofSystemSimulation,2024,36(3):649-658.

GestureRecognitionforDynamicVisionSensorBasedonMulti-dimensionalProjectionSpatiotemporalEventFrame

KangLai1,2,ZhangYakun3

(1.CollegeofSystemsEngineering,NationalUniversityofDefenseTechnology,Changsha410073,China;2.LaboratoryforBigDataandDecision,

NationalUniversityofDefenseTechnology,Changsha410073,China;3.PLA61081Troops,Beijing100089,China)

Abstract:Vision-basedgesturerecognitionisacommonlyusedmeansofhuman-computerinteractioninthefieldsofvirtualrealityandgamesimulation.Inpracticalapplications,rapidchangesingesturemovementswillleadtoblurredimagingwithtraditionalRGBcamerasordepthcameras,whichbringsgreatchallengestogesturerecognition.Tosolvetheaboveproblems,adynamicvisualdatagesturerecognitionmethodbasedonamulti-dimensionalprojectionspatiotemporaleventframe(STEF)isproposedbyausingdynamicvisionsensortocapturehigh-speedgesturemovemen