基于声波感知的凌空交互手势识别研究.pdfVIP

摘要

近年来，智能设备的广泛普及、通信和人工智能技术的快速发展为泛在感知人体

手势提供了新的发展机遇。目前，能够提升人机交互体验的无接触的人机交互手势和

打破常人与语言功能障碍及听力受损人士沟通障碍的手语交互手势受到了广泛的关注。

然而，现有的人体手势识别方案包括基于可穿戴设备，基于计算机视觉和基于射频信

号等。这些方案存在难部署、侵犯用户隐私、易受环境光影响的问题。相比与上述方

案，利用超声波信号感知人体手势，具有不侵犯用户隐私、不受环境光影响的优势。

此外，现有智能设备如智能手机、智能手表的扬声器可发送超过20kHz的超声波，因

此基于超声波信号的手势识别系统可以广泛的部署在上述终端设备上。本文旨在利用

智能手机内嵌的扬声器和麦克风感知手势动作。通过分析手势动作对超声波信号的影

响，识别人机交互手势和手语交互手势。

人机交互手势与手语交互手势，虽同为手势识别这一应用场景，但其手势特点有

所不同。人机交互手势其特点是手势动作简单但要求手势识别系统有较短的响应时间。

相比之下，手语动作繁多且复杂，需要手臂、手掌和手指协同配合，需要提取更加细

粒度的特征以有效地识别手势。此外手语手势识别的响应时间相比人机交互手势有较

高的容忍度。针对两种交互手势不同的特点，本文分别计算手势运动所引起多普勒效

应与信道冲击响应的变化，从而达到有效识别上述两种手势的目的。

针对人机交互手势，本文利用正弦信号感知手势，提取由手势变化所引起的多普

勒效应特征。这种方式的特点是计算量小、要求用户执行手势动作较快且所得特征较

为粗糙，适合识别简单且对响应时间要求较高的手势动作。之后将其转化为时频图，

然后建立一个卷积神经网络（ConvolutionalNeuralNetworks，CNN）分类模型区分不

同的手势。此外为了克服手势数据收集困难的问题，利用生成对抗网络（Generative

AdversarialNetwork，GAN）扩充数据集，使系统更具鲁棒性。实验结果表明，该系统

对10种人机交互手势的识别准确率为98.9%。

对于手语交互手势，本文利用训练序列将其调制到人耳听不到的超声频段作为超

声信号并计算手语手势动作所引起的信道冲击响应（ChannelImpulseResponse，CIR），

该方式的特点是计算量较高，但包含细粒度的手势特征。之后，沿着CIR矩阵的时间维

度计算其一阶差分以消除静态路径干扰。最后通过一个包含卷积层、空间注意力、通

道注意力的卷积神经网络以识别手语手势。实验结果表明，该方案对于12种手语交互

手势的识别准确率为95.2%。

关键词：手势识别；超声波信号；手语识别；信道冲击响应

Abstract

Inrecentyears,thewidespreadpopularizationofsmartdevicesandtherapiddevelopment

ofcommunicationandartificialintelligencetechnologieshaveprovidednewdevelopment

opportunitiesforubiquitoussensinghumangestures.Currently,contactlesshuman-computer

interactiongesturesthatcanenhancethehuman-computerinteractionexperienceandsign

languageinteractiongesturesthatbreakdownthecommunicationbarriersbetweennormal

peopleandpeoplewithspeechdysfunctionandhearingimpairmenthavereceivedwidespread

attention.However,existinghumangesturerecognitionschemesincludewearabledevice-

based,computervision-basedandRFsignal-based.T