CN119888133B 一种结构感知的三维场景重建方法及装置 （成都信息工程大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN119888133B(45)授权公告日2025.07.01

(21)申请号202510377177.1

(22)申请日2025.03.28

(65)同一申请的已公布的文献号申请公布号CN119888133A

(43)申请公布日2025.04.25

(73)专利权人成都信息工程大学

地址610000四川省成都市西南航空港经

济开发区学府路1段24号

(72)发明人袁霞郭文武袁海武相宇戈文一胡靖符颖吴锡

(74)专利代理机构成都贞元会专知识产权代理

有限公司51390专利代理师韦海英

(51)Int.CI.

GO6T17/20(2006.01)

G06T17/00(2006.01)

G06T7/90(2017.01)

GO6N3/0455(2023.01)

GO6N3/0475(2023.01)

(56)对比文件

CN119427349A,2025.02.14

WO2024238237A1,2024.11.21审查员罗姚

权利要求书4页说明书10页附图1页

(54)发明名称

一种结构感知的三维场景重建方法及装置

(57)摘要

本发明一种结构感知的三维场景重建方法及装置，包括：根据基于Unet架构的扩散模型构建稀疏点云生成模型；将信息输入稀疏点云生成模型中，生成对应视角下RGB图像帧的相机内外参和稀疏点云数据；根据稀疏点云数据构建粗糙的三维结构网格；对粗糙的三维结构网格进行随机采样，并根据随机采样结果对高斯基元进行高斯场初始化，得到初始化高斯场；计算当前图像帧和RGB彩色图像之间的损失，根据损失依次迭代优化信息中所有RGB图像帧的高斯基元的参

CN119888133B数，组合优化后的所有高斯基元，得到重建的三维场景。本发明提升了重建结果的空间一致性、准确

CN119888133B

获取信息，所述信息包括场景的多视角

获取信息，所述信息包括场景的多视角RGB图像帧序列

根据基于Unet架构的扩散模型构建稀疏点云生成模型

将所述信息输入所述稀疏点云生成模型中，生成对应视角下RGB图像帧的相机内外参和稀疏点云数据

对所述粗糙的三维结构网格进行随机采样，并根据随机采样结果对高斯基元进行高斯场初始化，得到初始化高斯场

在所述信息中随机选取一帧RGB图像帧作为当前场景的图像帧，根据所述当前场景的图像帧和所述相机内外参将所述初始化高斯场投影到相机的成像平面，生成所述当前图像帧的相机外参渲染的RGB彩色图像，计算所述当前图像帧和所述RGB彩色图像之间的损失，根据所述损失依次迭代优化所述信息中所有RGB图像帧的所述高斯基元的参数，组合优化后的所有所述高斯基元，得到重建的三维场景

S5

CN119888133B权利要求书1/4页

2

1.一种结构感知的三维场景重建方法，其特征在于，包括：

获取信息，所述信息包括场景的多视角RGB图像帧序列；

根据基于Unet架构的扩散模型构建稀疏点云生成模型；

将所述信息输入所述稀疏点云生成模型中，生成对应视角下RGB图像帧的相机内外参和稀疏点云数据；

根据所述稀疏点云数据构建粗糙的三维结构网格；

对所述粗糙的三维结构网格进行随机采样，并根据随机采样结果对高斯基元进行高斯场初始化，得到初始化高斯场；

在所述信息中随机选取一帧RGB图像帧作为当前图像帧，根据所述当前图像帧和所述相机内外参将所述初始化高斯场投影到相机的成像平面，生成所述当前图像帧的相机外参渲染的RGB彩色图像，计算所述当前图像帧和所述RGB彩色图像之间的损失，根据所述损失依次迭代优化所述信息中所有RGB图像帧的所述高斯基元的参数，组合优化后的所有所述高斯基元，得到重建的三维场景；

其中，对所述粗糙的三维结构网格进行随机采样，并根据随机采样结果对高斯基元进行高斯场初始化，得到初始化高斯场，包括：

根据所述粗糙的三维结构网格重建所述场景中整个物体的三维表面；

在所述场景中整个物体的三维表面中随机采样所有面元中70%的三角面，在每个三角面上的三个顶点分别随机初始化权重；

使用初始化的权重对所述顶点进行插值得到三角面内采样点的坐标；

使用初始化的权重对所述顶点的法线进行插值，得到采样点的法向量；