基于自适应遮挡恢复与拓扑姿态双向感知的三维手部重建方法.pdfVIP

第40卷第6期液晶与显示Vol.40No.6

2025年6月ChineseJournalofLiquidCrystalsandDisplaysJun.2025

文章编号：1007-2780（2025）06-0867-14

基于自适应遮挡恢复与拓扑姿态双向感知的

三维手部重建方法

111*2

刘佳，黄楠瑄，陈大鹏，魏李娜

（1.南京信息工程大学自动化学院，江苏南京210044；

2.浙江大学城市学院计算机与计算科学学院，浙江杭州310015）

摘要：现有的三维手部网格重建方法面临多个挑战，尤其在处理遮挡和高灵活度手部姿态时，会出现手部几何信息缺失与

拓扑结构错误的问题。为使三维手部重建在遮挡情况下仍能保持准确和高效，本文提出了一种利用单目RGB图像实时高

效地重建手部三维网格的两阶段网络框架。在第一阶段，通过在注意力机制中引入可学习的注意力权重掩码和区域一致

性损失，设计了自适应遮挡恢复模块。该模块针对遮挡区域进行信息自适应恢复，显著增强遮挡情况下的特征表达能力。

在第二阶段，结合静态拓扑建模和动态姿态感知，以及双向传递图卷积和新颖的关节旋转感知注意力间的特征信息，提出

了拓扑-姿态双向感知模块。该模块实现了静态和动态特征的互补增强，提升了关节特征的细节捕捉能力。本文方法在

FreiHAND和InterHand2.6M数据集上与现有的优秀方法进行定性与定量实验比较。实验结果表明，在FreiHAND数据

集上，本文方法的PA-MPVPE降低至6.1mm，推理速度达到了39FPS；在InterHand2.6M数据集上，本文方法的MPJPE

降低至8.07mm，MPVPE降低至8.22mm。本文方法满足三维手部重建的抗遮挡、实时且高效、姿态准确等要求。

关键词：三维手部网格重建；注意力机制；图卷积网络；区域一致性损失；深度学习

中图分类号：TP391文献标识码：Adoi：10.37188/CJLCD.2024-0345CSTR：32172.14.CJLCD.2024-0345

3Dhandreconstructionmethodbasedonadaptiveocclusion

recoveryandtopology-posebidirectionalperception

LIUJia1，HUANGNanxuan1，CHENDapeng1*，WEILina2

（1.SchoolofAutomation，NanjingUniversityofInformationScienceTechnology，

Nanjing210044，China；

2.SchoolofComputerandComputingScience，HangzhouCityUniversity，

Hangzhou310015，China）

Abstract：Existing3Dhandmeshreconstructionmethodsfacemultiplechallenges，especiallywhen

dealingwithocclusionandhighlyflexiblehandposes，whichleadtoissuessu