基于毫米波雷达和CTN算法的微动手势识别研究.pdf

基于毫米波雷达和CTN算法的微动手势识别研究

摘要

手势识别一直以来都是人机交互领域的一个备受关注的热门研究课题。这是因为，

随着非接触式手势识别技术在不同领域的应用越来越广泛，使这种技术的发展前景也变

得越来越广阔。在这方面，毫米波雷达技术因其高精度、易于集成以及强大的抗干扰能

力等特点而被广泛应用于运动目标检测中。然而，在传统的基于毫米波雷达点云或距离

多普勒热图的方法中，实现对微小手势的高精度识别仍然面临很大的挑战。针对这个问

题，本文考虑到毫米波雷达的原始数据具有更丰富的信息，给出了一种名为CDCS-CTN

（DataCubeSequence-TD-CNN-TransformerNetwork，数据立方体与时间分布式卷积

Transformer）的手势识别系统。该系统通过构建毫米波雷达数据立方体序列和引入时间

分布包装器（Time-Distributed,TD）以及三维卷积神经网络（Three-dimensional

convolutionalneuralnetwork,3D-CNN）来提取序列的局部特征，同时引入位置编码器以

保留序列的时间信息，以及Transformer网络来获得序列的全局特征，从而实现了更高

的手势识别精度。实验结果表明，CDCS-CTN系统可以实现99.75%的手势识别准确率，

明显高于其它传统方法。这表明，本文中的方法可以通过提取数据的局部特征和全局特

征来更好地解决微小手势识别问题，具有很好的实用性和应用前景。

本文的研究围绕着基于毫米波雷达的手势识别展开：

（1）建立了一个毫米波雷达数据采集平台，并用两个线程同时捕获了三种不同类

型的手势数据，包括雷达回波的LVDS、点云和距离多普勒热图。这些数据被用于构建

本文中的数据集，其中包含了21名参与者的20种微动手势。

（2）提出了一种独特的数据处理方法，将雷达回波处理成雷达数据立方体序列。一

方面，在使用恒虚警检测方法对数据进行过滤以获得点云时，其中部分有用信息会丢失；

另一方面，雷达的多普勒图缺乏对目标角度信息的描述。因此，本文将接收到的雷达回

波处理成具有距离、速度、角度、时间信息的数据立方体序列，以提高手势识别的精度。

这种数据处理方法充分利用了手势运动的三维空间信息以及时间信息。

（3）提出了一种基于注意力机制的网络，即CTN（TD-CNN-TransformerNetwork，

时间分布式卷积Transformer），它将3DCNN以时间分布的方式与Transformer相结合，

以实现高手势识别精度。在该网络中，多个3DCNN同步提取数据立方体的特征，并根

据提取的特征在每个动作中的时间位置进行编码，然后将其放入Transformer层，以获

得手势数据中的长距离特征。本文的实验结果表明，当使用数据立方体序列作为输入特

征时，CTN的识别精度比CNN和CNN-LSTM高，其精度约为99.75%。因此，本文的

研究为基于毫米波雷达的手势识别提供了一个高效、精确和可靠的解决方案。

I

ResearchonMicro-motionGestureRecognitionBasedon

MillimeterWaveRadarandCTNAlgorithm

Abstract

Gesturerecognitionhasalwaysbeenapopularresearchtopicinthefieldofhuman-

computerinteraction.Thisisbecauseasnon-contactgesturerecognitiontechnologyis

increasinglyusedinvariousfields,thedevelopmentprospectsofthistechnologyhavebecome

broader.Inthisregard