CN116934998A 从图像进行3d重建 （达索系统公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN116934998A(43)申请公布日2023.10.24

(21)申请号202310402540.1

(22)申请日2023.04.14

(30)优先权数据72022.04.21EP

(71)申请人达索系统公司

地址法国韦利济维拉库布莱

(72)发明人尼古拉斯·贝尔特朗

(74)专利代理机构北京英赛嘉华知识产权代理有限责任公司11204

专利代理师王达佐王艳春

(51)Int.CI.

GO6F30/12(2020.01)

GO6F30/27(2020.01)

GO6N3/0464(2023.01)

GO6N3/09(2023.01)

GO6F111/08(2020.01)

GO6T17/20(2006.01)

GO6T17/10(2006.01)

GO6T7/10(2017.01)

GO6F30/17(2020.01)

权利要求书2页说明书22页附图8页

(54)发明名称

从图像进行3D重建

CN116934998

CN116934998A

(57)摘要

本公开尤其涉及一种计算机实现的对包括部件的组件的至少一个真实对象进行3D重建的方法。该3D重建方法包括：提供神经网络，所述神经网络配置为基于输入深度图像生成3D图元CAD对象；提供表示所述真实对象的自然图像和深度图像；至少基于所述自然图像，分割所述深度图像，每个片段至多表示所述组件的各个部件；以及将所述神经网络应用到每个片段。

851

855

815

810

835

挤压部预测

解码器

845

870

850

输出：CAD参数化[1]侧边的数字

3线类型[4挤压部

820

FC:完全连接的层

CNN

编码器

深度图像

830

RNN

825

856

805

CN116934998A权利要求书1/2页

2

1.一种计算机实现的对包括部件的组件的至少一个真实对象进行3D重建的方法，所述3D重建方法包括：

-提供神经网络，所述神经网络配置为基于输入深度图像生成3D图元CAD对象；

-提供表示所述真实对象的自然图像和深度图像；

-至少基于所述自然图像，分割所述深度图像，每个片段至多表示所述组件的各个部分；以及

-将所述神经网络应用到每个片段。

2.根据权利要求1所述的方法，其中，所述神经网络包括：卷积网络(CNN),将所述深度图像作为输入，并且输出各个本征矢量；以及子网络，将所述各个本征矢量作为输入，并且输出预定的3D图元CAD对象参数化的值。

3.根据权利要求1或2所述的方法，其中，所述3D图元CAD对象由截面和挤压部限定，所述截面由位置参数的列表和线类型的列表限定，并且所述神经网络包括递归神经网络(RNN),所述递归神经网络配置为输出所述位置参数的列表和所述线类型的列表的值。

4.根据权利要求3所述的方法，其中，所述神经网络还包括完全连接的层，所述完全连接的层输出限定所述挤压部的一个或多个参数的值。

5.根据权利要求4所述的方法，其中，所述截面还由表示所述截面的类型的数字限定，所述神经网络还配置为计算表示所述数字的概率分布的矢量，并且可选地，输出限定所述挤压部、所述位置参数的列表和/或所述线类型的列表的所述一个或多个参数的所述值还基于表示所述概率分布的所述矢量。

6.根据权利要求5所述的方法，其中，所述神经网络包括：

-第一部件，包括：

第一子部件，包括卷积网络(CNN),所述CNN配置为将所述深度图像作为输入，并且输出各个本征矢量，以及

第二子部件，配置为将所述CNN的所述各个本征矢量作为输入，并且输出表示所述数字的概率分布的所述矢量；以及

-第二部件，包括：

第三子部件，配置为将所述CNN的各个本征矢量与表示所述概率分布的所述矢量的级联作为输入，并且输出各个矢量，

第四子部件，配置为将所述第三子部件的所述各个矢量作为输入，并且输出所述位置参数的列表的值、所述线类型的列表的值以及固定长度矢量，以及

第五子部件，配置为将所述第三子部件的所述各个矢量和所述第四子部件的各个固定长度矢量的级联作为输入，并且输出定义所述挤压部的所述一个或多个参数的值。

7.根据权利要求1至6中任一项所述的方法，其中，所述方法包括在将所述神经网络应用于每个片段之前：

-从所述片段中