基于毫米波雷达点云的手势识别方法.pdfVIP

哈尔滨工业大学硕士学位论文

摘要

非接触式手势识别提供了一种直观、便捷的人机交互方式，在智慧家居、

车载系统、虚拟现实等领域有着重要的应用价值，例如在智能家居中控制家电、

调节照明、播放音乐，在公共场所中实现自助服务、人流管理、安全监控功能，

提升用户在虚拟现实应用中的沉浸式体验等等。实现手势识别的经典方法是基

于图像，然而与摄像头相比，利用雷达进行手势识别不受光线、天气的影响，

更重要的是，不会采集用户图像，不涉及用户隐私，近年来得到了广泛的关注。

然而，很少有研究对于微动手势开展识别工作。这是因为微动手势通常只有手

指进行微小的运动，动作幅度小，对雷达的分辨率提出了超高的要求。

为实现微动手势识别，需要提取出低速运动的人手目标，为此，采用中值

滤波对雷达回波进行静目标滤除，之后进行目标检测，针对人手回波幅度不一，

导致同一参数下检测效果不一的问题，设计改进的自适应恒虚警检测算法实现

目标检测，同时减少虚警和漏警情况，在此基础上进行俯仰角和方位角估计。

此外，手势识别需要构建大规模数据集，如何减小数据量也是一个重点问题。

因此，根据距离和角度信息将检测的人手目标映射到三维点云上。三维点云的

数据量小，且有着能够直观表征手势动作、区分多目标的优势。针对手目标三

维点云包含离群点和稀疏性的问题，专门设计点数可变孤立森林算法对手目标

三维点云进行滤波，采用PointNet++上采样网络（PointNet++Upsampling

Network,PU-Net）填补其中的空洞，提高点云的质量。接着，为同时利用人

手目标点云的空间特征和时序特征，基于PointNet++和Bi-GRU的级联网络实

现手势识别。具体来说，将每帧手目标点云送入一个PointNet++分类网络，

进行充分的点云局部和全局特征提取，然后将所有28帧的信息注入到双向门

控循环单元（BidirectionalGatedRecurrentUnit,Bi-GRU）中，整合时序特征，

确保手势的运动特征不会丢失。

最后，采用本实验室采集的微动手势数据集进行验证，从识别准确率、网

络参数和训练速度的角度对其进行评估，并与PointNet、PointNet++、

PointMLP、PointCNN、PointTransformer等等多种先进方法进行比较。在添

加了公开数据集的33类大型数据集上，也用所提网络进行手势识别实验，评

估其识别性能。

关键词：毫米波雷达；手势识别；点云滤波；点云分类

-I-

哈尔滨工业大学硕士学位论文

Abstract

Non-contactgesturerecognitionprovidesanintuitiveandconvenient

human-computerinteractionmethod,withsignificantapplicationvalueinsmart

homes,vehiclesystems,virtualreality,andotherfields.Forinstance,itcanbe

usedtocontrolhomeappliances,adjustlighting,playmusicinsmarthomes,

andimplementself-service,crowdmanagement,andsecuritymonitoring

functionsinpublicplaces.Itcanalsoenhanceusers’immersiveexperiencein

virtualrealityapplications.Whileclassicgesturerecognitionmethodsarebased

onimages,radar-basedgesturerecognitionisimmunetolightingandweather