CN118379441A 面向真实场景的实时3d手部网格重建方法与系统 （江西财经大学）.pdfVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN118379441A

(43)申请公布日2024.07.23

(21)申请号202410846890.1

(22)申请日2024.06.27

(71)申请人江西财经大学

地址330000江西省南昌市经济技术开发

区双港东大街169号

(72)发明人廖国琼黄龙杰李清新辜勇

李海波

(74)专利代理机构北京中济纬天专利代理有限

公司11429

专利代理师黄攀

(51)Int.Cl.

G06T17/00(2006.01)

G06N3/0464(2023.01)

G06N3/09(2023.01)

权利要求书5页说明书10页附图6页

(54)发明名称

面向真实场景的实时3D手部网格重建方法

与系统

(57)摘要

本发明提出一种面向真实场景的实时3D手

部网格重建方法与系统，该方法包括基于

MobileNetV2网络构建骨干网络，利用骨干网络

对包含双手图像的RGB图像进行特征提取，获取

双手的特征信息；基于MobileNetV2构建双手特

征交互器，将双手的特征信息进行分离，得到左

手特征和右手特征，并输入双手特征交互器中进

行特征交互，得到左手令牌和右手令牌；对左手

令牌和右手令牌进行网格重建，获取两只手的

2.5D热图以及手部网格，将两只手的2.5D热图进

行仿射变换，以获取双手的3D相对偏移以进行重

A建。本发明有效解决了目前3D手部网格重建技术

1对于真实场景重建效果不佳的问题，并且通过轻

4

4

9量化骨干网络大幅降低模型的参数量，使得网络

7

3

8可以在资源受限的移动和嵌入式设备上运行。

1

1

N

C

CN118379441A权利要求书1/5页

1.一种面向真实场景的实时3D手部网格重建方法，其特征在于，所述方法包括如下步

骤：

步骤1、基于MobileNetV2网络构建骨干网络，利用骨干网络对包含双手图像的RGB图像

进行特征提取，获取双手的特征信息；

步骤2、基于MobileNetV2构建双手特征交互器，将双手的特征信息进行分离，得到左手

特征和右手特征，并输入双手特征交互器中，将左手特征和右手特征采用注意力机制进行

特征交互，以捕捉左手特征和右手特征之间的长距离依赖关系，获取双手特征的全局表示，

对双手特征的全局表示再次进行分离，得到左手令牌和右手令牌；

步骤3、对左手令牌和右手令牌进行网格重建，获取两只手的2.5D热图以及手部网格，

将两只手的2.5D热图进行仿射变换，以获取双手的3D相对偏移，根据双手的3D相对偏移和

两只手的手部网格以进行实时3D手部网格重建。

2.根据权利要求1所述的面向真实场景的实时3D手部网格重建方法，其特征在于，在所

述步骤1中，MobileNetV2网络包括卷积模块、Bottleneck模块和最大池化模块。

3.根据权利要求2所述的面向真实场景的实时3D手部网格重建方法，其特征在于，在所

述步骤2中，将左手特征和右手特征采用注意力机制进行特征交互，以捕捉左手特征和右手

特征之间的长距离依赖关系，获取双手特征的全局表示的方法具体包括如下步骤：

将左手特征和右手特征和进行特征堆叠，以满足手部特征的充分交互，得到融合特征，

其过程关系式如下：

；

其中，表示融合特征，表示对张量的第一个维度堆叠，分别表示左手特

征和右手特征；

融合特征通过一个输出通道数为原始通道数的3倍的卷积，将进行分割操作，得到三个