基于深度学习的sEMG手部形态识别与应用研究.pdf

摘要

基于深度学习的sEMG手部形态识别与应用研究

随着深度学习技术的飞速进步，如今的人机交互方式朝着多媒介、多通道的

智能人机交互转变。手势能直接表达人们的简单意图，因此研究手部形态即手势

识别成为促进人机交互领域发展的关键。表面肌电信号sEMG作为一种生物电

信号，与人的运动行为有直接的关联，并且具有无侵入性、高精度等优点，所以

利用表面肌电信号进行手势识别成为当下研究的热点。

但是，由于深度学习模型对肌电信号提取的特征过于单一，导致模型复杂化

并不能提高手势识别的精度，反而模型更容易学习到肌电信号当中的噪声数据，

泛化性能变差。为此，本文从丰富特征和去除冗余特征的角度对基于深度学习的

sEMG手部形态识别与应用进行研究。肌电手势识别又分为离散肌电手势识别和

连续肌电手势识别，针对两种类型的任务，本文具体的研究内容如下：

（1）离散肌电手势识别任务。本文提出MFSGR多模态融合模型用于融合肌

电数据与运动学数据。同时，构建时空模块对信号的时间空间依赖进行建模，利

用小波变换提取时频特征以丰富肌电特征，利用软阈值化去除噪声特征。本文的

模型在公开数据集NinaPro上同比近年来其他肌电识别算法，实现了精度的提升。

（2）连续肌电手势数据集构建。为了完成连续肌电手势识别，针对目前并没

有公开肌电连续手势数据集的现状，本文构建连续肌电手语数据集SECSL，

SECSL基于中文手语，包括数字手语动作及常用语连续手语动作。

（3）非端对端连续肌电手势识别。本文基于更小分割样本策略，将连续肌电

手势的识别任务转化为离散手势识别任务，提出FCSGR模型，在MFSGR模型

的基础上引入长时依赖模块，对肌电信号长时序关系建模，并通过合并丢弃策略，

获得最终动作序列。实验结果表明了方案的有效性。

（4）端对端连续肌电手势识别。将端对端的连续手势识别与实际应用场景结

合，提出肌电中文手语翻译任务。通过引入CTC分类，解决标签对齐及重复手

势问题，在SECSL上达到43.7%的错词率，结果证明方案可行性。

关键词：表面肌电信号，手势识别，深度学习，多模态，手语翻译

I

Abstract

ResearchonsEMGHandShapeRecognitionandApplication

BasedonDeepLearning

Withtherapidprogressofdeeplearningtechnology,todayshuman-computer

interactionischangingtowardsmulti-mediaandmulti-channelintelligenthuman-

computerinteraction.Handgesturescandirectlyexpresspeoplessimpleintentions,so

thestudyofhandshapeorgesturerecognition,hasbecomeakeytofacilitatethe

developmentofthehuman-computerinteractionfield.Asabioelectricsignal,surface

electromyographysignal(sEMG)hasdirectcorrelationwithhumanmotorbehaviorand

hastheadvantagesofnon-invasiveandhighaccuracy,sousingsurfaceEMGsignalfor

gesturerecognitionhasbecomeahotresearchtopicnowadays.