CN114219890B 一种三维重建方法、装置、设备及计算机存储介质 （中国科学院深圳先进技术研究院）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN114219890B(45)授权公告日2025.07.04

(21)申请号202111336174.1

(22)申请日2021.11.10

(65)同一申请的已公布的文献号申请公布号CN114219890A

(43)申请公布日2022.03.22

(73)专利权人中国科学院深圳先进技术研究院地址518000广东省深圳市南山区深圳大

学城学苑大道1068号

(72)发明人王磊刘薰裕马晓亮程俊

(74)专利代理机构深圳中一联合知识产权代理有限公司44414

专利代理师胡明强

GO6N3/08(2023.01)

GO6N3/0464(2023.01)

GO6V10/46(2022.01)

GO6V10/82(2022.01)

(56)对比文件

GyeongsikMoon等.“I2L-MeshNet:Image-

to-LixelPredictionNetworkforAccurate3DHumanPoseandMeshEstimationfromaSingleRGBImage”.《ComputerVision-ECCV2020》.2020,第752-768页.

审查员郄修尘

(51)Int.CI.

GO6T17/00(2006.01)

GO6V40/10(2022.01)权利要求书2页说明书14页附图4页

(54)发明名称

一种三维重建方法、装置、设备及计算机存储介质

(57)摘要

CN114219890B本申请适用于三维重建领域，提供了一种三维重建方法、装置、设备及计算机存储介质，该方法包括：获取目标对象的2D姿态信息，2D姿态信息包括目标对象上多个关键点的位置坐标；将2D姿态信息输入到已训练的三维重建模型中进行处理，得到目标对象的三维模型；三维重建模型包括3D姿态回归网络和顶点回归网络；3D姿态回归网络用于从2D姿态信息中提取3D姿态信息；顶点回归网络用于将2D姿态信息和3D姿态信息的拼接信息进行处理得到目标对象的三维模型。该方法充分利用不同维度的姿态信息，使得到的三

CN114219890B

30姿态时归网络

的匳

第第[全□送层

第

中间层

顶点回归网络

CN114219890B权利要求书1/2页

2

1.一种三维重建方法，其特征在于，所述方法包括：

获取目标对象的2D姿态信息，所述2D姿态信息包括所述目标对象上多个关键点的位置坐标；

将所述2D姿态信息输入到已训练的三维重建模型中进行处理，得到所述目标对象的三维模型；

所述三维重建模型包括3D姿态回归网络和顶点回归网络；所述3D姿态回归网络用于从所述2D姿态信息中提取3D姿态信息；所述顶点回归网络用于将所述2D姿态信息和所述3D姿态信息的拼接信息进行处理得到所述目标对象的三维模型；

所述3D姿态回归网络包括依次连接的第一变形层、第一全连接层、多个第一残差块、第二全连接层和第二变形层；所述第一变形层用于将所述多个关键点的位置坐标转换为预设格式的特征向量；所述第二变形层用于将所述第二全连接层输出的特征信息转换为所述3D姿态信息；

多个所述第一残差块包括依次连接的归一化层、激活函数层和第三全连接层；

所述顶点回归网络包括依次连接的多个第一图卷积层、第三变形层、第四全连接层、第四变形层、中间层和多个第二图卷积层，所述中间层包括多个交替设置的第二残差块和上采样层；

所述第三变形层、所述第四全连接层和所述第四变形层用于将所述多个第一图卷积层输出的特征图映射输入至所述中间层中；

所述第二残差块包括依次连接的多个图卷积层。

2.根据权利要求1所述的方法，其特征在于，获取所述三维重建模型的过程包括：

利用第一损失函数和第一训练集对3D姿态回归初始网络进行训练，得到更新后的3D姿态回归网络；

利用第二损失函数和第二训练集对所述更新后的3D姿态回归网络和顶点回归初始网络进行训练，得到所述三维重建模型。

3.根据权利要求2所述的方法，其特征在于，所述第二损失函数包括网格损失、3D损失、网格表面法向损失和网格表面边缘损失。

4.一种三维重建装置，其特征在于，所述装置包