CN116917946A 提供临时纹理应用以增强3d建模的方法和系统 （镭亚股份有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN116917946A(43)申请公布日2023.10.20

(21)申请号202180094702.9

(22)申请日2021.02.28

(85)PCT国际申请进入国家阶段日

2023.08.25

(86)PCT国际申请的申请数据

PCT/US2021/0201652021.02.28

(87)PCT国际申请的公布数据

WO2022/182369EN2022.09.01

(71)申请人镭亚股份有限公司地址美国加利福尼亚州

(72)发明人C·金N·达尔奎斯特

(74)专利代理机构北京市柳沈律师事务所

11105

(51)Int.CI.

GO6T15/04(2006.01)

专利代理师于小宁

权利要求书2页说明书13页附图7页

(54)发明名称

图像捕

图像捕捉处理103

围像集112

106

109

3D模型114

3D表面模型121

3D建模

过程115

(57)摘要

CN116917946A系统和方法涉及生成第一图像集的三维(3D)模型。第一图像集(例如，输入图像集)对应于进行3D建模的对象的不同视角。从第一图像集生成体积密度函数。从体积密度函数和预定义的颜色函数生成第二图像集(例如，纹理图像集)。将第一图像集与第二图像集混合以生成第三图像集(例如，具有临时纹理的图像集)。为了生成所述3D模型，从第三图像集生成3D表面模型。此外，从第一图像集生成所述3D表面模型的纹理

CN116917946A

CN116917946A权利要求书1/2页

2

1.一种提供三维(3D)模型的计算机实施的方法，所述方法包括：

从第一图像集生成体积密度函数，所述第一图像集对应于对象的不同视角；

根据所述体积密度函数和预定义的颜色函数生成第二图像集；

将所述第一图像集与所述第二图像集混合以生成第三图像集；

从所述第三图像集生成3D表面模型；以及

从所述第一图像集生成所述3D表面模型的纹理图，

其中，所述3D表面模型和所述纹理图被配置为在显示器上渲染。

2.根据权利要求1所述的方法，其中，所述体积密度函数生成对应于输入相机姿态的一组体积密度值。

3.根据权利要求2所述的方法，其中，所述体积密度函数是包括神经辐射场模型的神经网络模型。

4.根据权利要求1所述的方法，其中，混合包括：

分配混合权重，所述混合权重指示像素是否是所述第一图像集的无纹理区域的一部分；以及

根据所述混合权重将所述第一图像集与所述第二图像混合。

5.根据权利要求4所述的方法，其中所述无纹理区域包括阈值像素值方差内的像素。

6.根据权利要求1所述的方法，还包括：

识别所述第一图像集的多个相机姿态；以及

从所述相机姿态生成所述体积密度函数。

7.根据权利要求1所述的方法，其中，生成所述第三图像集的所述3D表面模型包括：

识别所述第三图像集的多个相机姿态；

使用所述多个相机姿态识别所述第三图像集内的多个3D点；以及

根据所述3D点重构所述对象的表面。

8.根据权利要求1所述的方法，其中，渲染所述3D表面模型和所述纹理图以供显示包括同时将所述对象的一组视图渲染为多视图图像。

9.一种三维(3D)模型生成系统，包括：

处理器；以及

存储器，所述存储器存储多个指令，所述多个指令在被执行时使所述处理器：

从第一图像集生成体积密度模型，所述第一图像集对应于对象的不同视角；

从体积密度模型生成第二图像集，其中应用伪随机纹理来生成所述第二图像集；

将所述第一图像集与所述第二图像集混合以生成第三图像集；

从所述第三图像集生成3D表面模型；以及

从所述第一图像集生成所述3D表面模型的纹理图，

其中，计算系统被配置为渲染所述3D表面模型和纹理图以供显示。

10.根据权利要求9所述的系统，其中，所述体积密度模型包括被配置为确定对应于输入相机姿态的一组体积密度值的函数。

11.根据权利要求9所述的系统，其中，所述体积密度模型包括神经辐射场模型。

12.根据权利要求9所述的系统，其中，存储所述多个指令的所述存储器在所述多个指令被执行时还使所述处理器：

CN116917946A权利要求书2/2页

3

通过对所述第一图像集应用角点检测操作以确