面向手势识别的多传感器信号分类算法研究.pdf

面向手势识别的多传感器信号分类算法研究

摘要

近年来随着人工智能技术以及计算机领域的不断发展，手势识别作为一种新兴的

人机交互方式，其应用的领域和市场获得了持续的拓展与增长。手势识别领域的研究

方向大体上可分为两种：方向一主要通过视觉图像信息来分辨识别手势动作；方向二

则采用肌电传感等传感器，通过采集的传感器信息建模分析来识别手势。表面肌电信

号（sEMG）在手势识别领域获得了广泛的应用和研究，惯性传感单元（IMU）作为角

速度及加速度测量传感器，除用于物体运动追踪等方面外，也可作为手势识别的辅助

手段。本文开展了sEMG及IMU多传感器信号分类算法研究，在制作数据集的基础上，

改进和设计了深度学习网络模型，对比分析验证了多种算法的准确率和有效性。具体

工作内容如下：

（1）基于国际通用的表面肌电信号公开数据集，开展了深度学习网络研究，选取

NinaPro数据集，分别采用CNN模型和改进的多流CNN网络模型进行对比研究，实验

结果表明：基于NinaProDB1和DB2数据集，CNN网络模型的准确率分别为78.73%、

75.57%，改进的多流CNN网络模型识别精度分别为83.40%、85.64%，较CNN模型有

明显的提升。

（2）为制作手势分类算法的数据集，搭建了多传感器信号采集系统，通过采集10

位受试者的5种不同的手势动作获取原始的信号数据。通过信号采集系统获取sEMG

及IMU多传感器信号数据信息，使用滑动窗处理方式进行预处理并建立数据集。基于

自建数据集，采用多种机器学习算法，对引入IMU信号后手势识别的有效性开展研究，

实验结果表明：IMU信号的引入实现了手势识别率的显著提升。

（3）基于自建数据集，开展了面向手势识别的多种深度学习网络模型对比研究，

通过实验确定预处理参数，滑动窗口长度为300ms、滑动步长为40ms，分别设计了

CNN和LSTM网络模型研究手势识别准确率，结果分别达到了84.83%和88.62%。结

合两种网络模型，提出了组合CNN-LSTM网络模型，优化参数后，其准确率达到

93.24%，相较于单一网络在识别准确率上有着显著提升。基于提出的组合网络模型，

进一步优化其激活函数和LSTM网络的结构单元，改进后的CNN-LSTM网络模型识别

准确率达到了94.36%，相较于未改进的组合网络有着略微的提升。

关键词：表面肌电信号；惯性信号；卷积神经网络；长短时记忆网络；手势识别

哈尔滨工程大学硕士学位论文

Abstract

Inrecentyears,withthecontinuousdevelopmentofartificialintelligencetechnologyand

computerfield,gesturerecognition,asanewhuman-computerinteractionmode,hasbeen

continuouslyexpandingandgrowinginitsapplicationfieldandmarket.Theresearch

directionsinthefieldofgesturerecognitioncanbedividedintotwocategories:directionone

istodistinguishandrecognizegestureactionsmainlythroughvisualimageinformation;The

seconddirectionusessensorssuchasEMGsensorstorecognizegesturesbymodelingand

analyzingthecollectedsensorinformation.Surfaceelectromyography(sE