基于表面肌电和加速度传感器的手势动作识别研究.pdfVIP

摘要

通过手势识别可以控制目标对象，基于手势识别的人机交互在游戏娱乐以及

智能家居等领域的应用已逐渐融入我们的生活；另一方面，由于我国是一个残疾

人口大国，手势识别对语言功能障碍患者更和谐地融入社会具有重大意义。手势

识别的便捷性和准确率是研究者的目标。基于目前在手势识别领域中的已有研究

成果，本文以中国手语中多个手势动态过程为研究对象，利用四路前臂表面肌电

信号（SurfaceElectromyography，sEMG）与三轴加速度信号（Acceleration，ACC）

对手势动作的分类进行了深入的研究。主要工作与创新点如下：

（1）信号采集：根据手势规范动作执行形式，进行动态过程分析，用固定

于手腕背部的三轴加速度传感器采集反映手臂挥动信息的ACC信号，同时从生

理学的角度入手，选择了与指、腕动作密切相关的拇短伸肌、指伸肌、桡侧腕伸

肌与指浅屈肌四块前臂肌肉作为4路sEMG信号采集点，共采集5路信号用于

手势识别分析，并对ACC与sEMG具体采集过程设计了实验方案。

（2）信号预处理：对去偏置后的sEMG使用db6母小波对信号进行4层小

波分解（WaveletTransform，WT），提出一种改进的小波阈值消噪法进行去噪；

对ACC信号使用中值滤波法进行平滑处理。对各通道信号进行归一化处理后，

采用基于阈值的方法进行手势活动段提取。

（3）基于特征划分的区段分割方法：研究动态手势执行过程的基础上，提

出一种动态手势过程的区段分割方法，以sEMG和ACC有效信号的起止点为节

点，将复杂动态手势分解为起始段、主特征段和收尾段三个相对独立的区段。起

始段为手臂开始挥动，仅包含ACC为活动状态，sEMG是静息，反映ACC在手

势起始过程的宏观信息。主特征段为sEMG与ACC皆活跃的信息段，该区段反

映了手势执行过程中的细节与宏观信息，在ACC的相对变化中伴随指和腕变化

相关的sEMG丰富信息，该区段中两者的信息融合对手势的识别起到决定性作

用。收尾段表示sEMG由活动状态回归静息的过程，反映sEMG在手势终止时

的细节信息。

（4）特征提取：根据ACC和sEMG的特点，针对性提取三个分段的全局和

细节特征，将动态手势的宏观信息和微观细节特征有机组合，提取了时域特征、

FFF

频域特征、时频特征、熵特征以及融合域特征，构造、以及特征

ACCsEMGA+S

组合，使用PCA对高维特征向量降维。

（5）手势分类：使用多种分类方法对区段分割思想及其对应的特征提取方

法开展手势分类识别结果的对比分析。比较了K近邻（KNN）、人工神经网络

（ANN）以及支持向量机（SVM）分类器对动态手势的识别结果。本文所提

sEMG+ACC的组合特征向量均取得了高于90%的识别准确率，验证了本研究方

法对动态手势识别的有效性。

（6）研究实践：开发了手语在线翻译APP，有效地识别了7种日常手语，

并在手机端进行文字显示和语音播报，使聋哑人与正常人沟通上更加流畅。

关键词手势识别、表面肌电信号、加速度信号、手势分割、经验模态分解、支

持向量机

ABSTRACT

Thetargetobjectcanbecontrolledbygesturerecognition.Theapplicationof

human-computerinteractionbasedongesturerecognitioninthefieldsofgame

entertainmentandsmarthomehasgraduallyintegratedintoourlives.Ontheother

hand,asChina