CN118379441B 面向真实场景的实时3d手部网格重建方法与系统 （江西财经大学）.pdfVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN118379441B

(45)授权公告日2024.08.23

(21)申请号202410846890.1G06N3/0464(2023.01)

G06N3/09(2023.01)

(22)申请日2024.06.27

(56)对比文件

(65)同一申请的已公布的文献号

申请公布号CN118379441ACN110532878A,2019.12.03

CN114419661A,2022.04.29

(43)申请公布日2024.07.23

审查员傅重添

(73)专利权人江西财经大学

地址330000江西省南昌市经济技术开发

区双港东大街169号

(72)发明人廖国琼黄龙杰李清新辜勇

李海波

(74)专利代理机构北京中济纬天专利代理有限

公司11429

专利代理师黄攀

(51)Int.Cl.

G06T17/00(2006.01)权利要求书5页说明书10页附图6页

(54)发明名称

面向真实场景的实时3D手部网格重建方法

与系统

(57)摘要

本发明提出一种面向真实场景的实时3D手

部网格重建方法与系统，该方法包括基于

MobileNetV2网络构建骨干网络，利用骨干网络

对包含双手图像的RGB图像进行特征提取，获取

双手的特征信息；基于MobileNetV2构建双手特

征交互器，将双手的特征信息进行分离，得到左

手特征和右手特征，并输入双手特征交互器中进

行特征交互，得到左手令牌和右手令牌；对左手

令牌和右手令牌进行网格重建，获取两只手的

2.5D热图以及手部网格，将两只手的2.5D热图进

行仿射变换，以获取双手的3D相对偏移以进行重

B建。本发明有效解决了目前3D手部网格重建技术

1对于真实场景重建效果不佳的问题，并且通过轻

4

4

9量化骨干网络大幅降低模型的参数量，使得网络

7

3

8可以在资源受限的移动和嵌入式设备上运行。

1

1

N

C

CN118379441B权利要求书1/5页

1.一种面向真实场景的实时3D手部网格重建方法，其特征在于，所述方法包括如下步

骤：

步骤1、基于MobileNetV2网络构建骨干网络，利用骨干网络对包含双手图像的RGB图像

进行特征提取，获取双手的特征信息；

步骤2、基于MobileNetV2构建双手特征交互器，将双手的特征信息进行分离，得到左手

特征和右手特征，并输入双手特征交互器中，将左手特征和右手特征采用注意力机制进行

特征交互，以捕捉左手特征和右手特征之间的长距离依赖关系，获取双手特征的全局表示，

对双手特征的全局表示再次进行分离，得到左手令牌和右手令牌；

步骤3、对左手令牌和右手令牌进行网格重建，获取两只手的2.5D热图以及手部网格，

将两只手的2.5D热图进行仿射变换，以获取双手的3D相对偏移，根据双手的3D相对偏移和

两只手的手部网格以进行实时3D手部网格重建；

在所述步骤2中，将左手特征和右手特征采用注意力机制进行特征交互，以捕捉左手特

征和右手特征之间的长距离依赖关系，获取双手特征的全局表示的方法