基于毫米波雷达与深度学习的人体姿态估计方法研究.pdfVIP

摘要

摘要

人体姿态估计作为动作识别领域中的研究热点，已被广泛应用于人机交互、智

能监控和康复治疗等领域，该技术可以为相关行业提供更多的数据支持和决策参考，

对推动行业的智能化发展和服务水平的提升具有重要意义。然而，传统的人体姿态

估计大多是基于图像数据的，在暗光或黑暗条件下的姿态估计效果往往不佳，此外，

摄像头的使用也会严重侵犯人们的隐私。为了解决以上问题，本文将毫米波雷达点

云数据用于人体姿态估计研究，以实现更佳的人体姿态估计效果。

针对基于CNN的人体姿态估计网络提取点云特征不充分的问题，本文提出了一

种基于PointNet++的人体姿态估计方法。该方法对点云数据进行了更加充分的特征

提取，与基于CNN的人体姿态估计方法相比，其无需将点云数据转换成特征图，而

是直接利用点云数据对人体关键点进行预测。实验结果表明，基于PointNet++的人

体姿态估计方法在三个坐标轴15个关节点上的MSE、MAE和RMSE平均值分别达

到1.70cm、9.32cm和12.18cm，优于对比方法，对人体关节点实现了更加准确的预

测，为射频人体姿态估计提供了一种更加有效的方法。

针对毫米波雷达采集的点云数据过于稀疏的问题，本文提出了一种基于多帧点

云数据拼接策略的人体姿态估计方法。该方法通过对连续的多帧点云数据进行拼接，

以达到增加点云数量的目的，从而丰富PointNet++提取的点云特征，进而提高对人

体关键点预测的准确性。仿真实验结果表明，通过拼接多帧点云数据，可以有效的

降低算法的损失值，其中，以拼接三帧点云数据作为输入的模型在三个坐标轴15个

关节点上的MSE和MAE平均值分别达到了1.44cm和8.50cm，相比于没有进行点

云拼接的模型，MSE和MAE值分别下降了14%和9.20%，有效的缓解了毫米波雷

达点云数量过少的问题。

为了进一步提高基于PointNet++的人体姿态估计方法对人体关节点预测的准确

性，解决点云数据中时序特征利用不充分的问题，本文提出了一种结合PointNet++

与Transformer的时空毫米波雷达点云人体姿态估计网络。该网络首先使用

PointNet++分别对各帧点云数据进行特征提取，然后将点云特征在时间维度上进行拼

接，并利用Transformer获取各帧之间的依赖关系，最后基于此实现对人体姿态的估

计。实验结果表明，引入时序特征后的网络性能更好，其在三个坐标轴15个关节点

上的MSE和MAE平均值分达到了0.91cm和6.82cm。同时，消融实验结果表明，

结合了多帧点云拼接策略和Transformer结构两种方法的网络模型在三个坐标轴所有

关节点上的MSE和MAE平均值分别达到了0.58cm和5.57cm，为实现高精度的人

体关节点预测提供了一种新思路。

I

河北科技大学硕士学位论文

关键词毫米波雷达；PointNet++；点云数据；人体姿态估计；Transformer

II

Abstract

Abstract

Humanposeestimation,asaresearchhotspotinthefieldofactionrecognition,has

beenwidelyappliedinfieldssuchashuman-computerinteraction,intelligentmonitoring,

andrehabilitationtreatment.Thistechnologycanprovidemoredatasupportand

decision-makingreferenceforrelatedindustries,andis