基于YOLOv3-HM的手部姿态估计方法研究.pdfVIP

测控技术

·６０·２０２３４２４力触觉技术专刊

年第卷第期

基于ＹＯＬＯｖ３ＨＭ的手部姿态估计方法研究

１，２，３，４１，２，３，４１，２，３，４１１，２，３，４

刘佳，石豪，陈大鹏，卞方舟，徐闯

（１．南京信息工程大学自动化学院，江苏南京２１００４４；２．江苏省智能气象探测机器人工程研究中心，

江苏南京；江苏省大数据分析技术重点实验室，江苏南京；

２１００４４３．２１００４４

江苏省气象能源利用与控制工程技术研究中心，江苏南京）

４．２１００４４

摘要二维手部姿态估计是人机交互领域的一项关键技术为增强复杂环境下系统鲁棒性提高手势姿态

：。，

估计精度，提出一种基于目标检测和热图回归的ＹＯＬＯｖ３ＨＭ算法。首先，利用ＹＯＬＯｖ３算法从ＲＧＢ图像

中识别框选手部区域，采用作为边界框损失函数；然后，结合热图回归算法对手部的个关键点进

ＣＩｏＵ２１

行标注；最终，通过回归手部热图实现二维手部姿态估计。分别在数据集与真实场景下进行测

ＦｒｅｉＨＡＮＤ

试，结果表明，该算法相较于传统手势检测算法在姿态估计精度和检测速度上均有所提高，对手部关键点

的识别准确率达到９９．２８％，实时检测速度达到５９ｆ／ｓ，在复杂场景下均能精准实现手部姿态估计。

关键词：手部姿态估计；ＹＯＬＯｖ３ＨＭ；热图回归；关键点检测

中图分类号：ＴＰ３９１．４文献标志码：Ａ文章编号：１０００－８８２９（２０２３）０４－００６０－０７

ｄｏｉ１０．１９７０８／ｊ．ｃｋｊｓ．２０２２．１１．３１７

：

ＲｅｓｅａｒｃｈｏｎＨａｎｄＰｏｓｅＥｓｔｉｍａｔｉｏｎＭｅｔｈｏｄＢａｓｅｄｏｎＹＯＬＯｖ３ＨＭ

１牞２牞３牞４１牞２牞３牞４１牞２牞３牞４１１牞２牞３牞４

ＬＩＵＪｉａ牞ＳＨＩＨａｏ牞ＣＨＥＮＤａｐｅｎｇ牞ＢＩＡＮＦａｎｇｚｈｏｕ牞ＸＵＣｈｕａｎｇ

牗１．ＳｃｈｏｏｌｏｆＡｕｔｏｍａｔｉｏｎ牞ＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ牞Ｎａｎｊｉｎｇ２１００４４牞Ｃｈｉｎａ牷

２．ＪｉａｎｇｓｕＰｒｏｖｉｎｃｅＥｎｇｉｎｅｅｒｉｎｇＲｅｓｅａｒｃｈＣｅｎｔｅｒｏｆＩｎｔｅｌｌｉｇｅｎｔＭｅｔｅｏｒｏｌｏｇｉｃａｌＥｘｐｌｏｒａｔｉｏｎＲｏｂｏｔ牗ＣＩＭＥＲ牘牞Ｎａｎｊｉｎｇ２１００４４牞Ｃｈｉｎａ牷

３．ＪｉａｎｇｓｕＫｅｙＬａｂｏｒａｔｏｒｙｏｆＢｉｇＤａｔａＡｎａｌｙｓｉｓＴｅｃｈｎｏｌｏｇｙ牗ＢＤＡＴ牘牞Ｎａｎｊｉｎｇ２１００４４牞Ｃｈｉｎａ牷

４．Ｊｉａｎ