CN119295638A 基于高斯泼溅的图像渲染方法、装置、设备、存储介质及程序产品 （北京大学深圳研究生院）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119295638A(43)申请公布日2025.01.10

(21)申请号202411159584.7

(22)申请日2024.08.22

GO6N

3/08(2023.01)

说明书14页附图3页

(71)申请人北京大学深圳研究生院

地址518000广东省深圳市南山区西丽街

道深圳大学城北大园区H栋208室

(72)发明人王荣刚许王泽高文

(74)专利代理机构深圳市世纪恒程知识产权代理事务所44287

专利代理师张卉

(51)Int.CI.

GO6T15/20(2011.01)

GO6T3/06(2024.01)

GO6T7/593(2017.01)

GO6T17/00(2006.01)

GO6N3/02(2006.01)

权利要求书2页

(54)发明名称

获取训练图像，选取所述训练图像的参考视角，通过多视角立体模型得到参考视角下所还训练图像的多视图立体深度将所述多视围立体深度进行过滤融合，生成多视图立体点云

获取训练图像，选取所述训练图像的参考视角，通过多视角立体模型得到参考视角下所还训练图像的多视图立体深度

将所述多视围立体深度进行过滤融合，生成多视图立体点云

将所述多视图立休点云输入三雌高斯泼溅模型，对三维高斯泼鸿模型的位置参数进行初始化

将所述训练图像和多视图立体深度通过前向映射和损失计算，得到所述训练图像的湿合极失

将所述温合损失传回经过初始化的三维高斯泼溅模型，对所述三维高斯波减模型进行创练更断

像

(57)摘要

119295638ACN本申请公开了一种基于高斯泼溅的图像渲染方法、装置、设备、存储介质及程序产品，涉及计算机视觉技术领域，包括：获取训练图像，选取其参考视角，通过多视角立体模型得到参考视角下训练图像的多视图立体深度，通过过滤融合生成多视图立体点云，将其输入三维高斯泼溅模型，对模型进行初始化；将训练图像和多视图立体深度通过前向映射和损失计算，得到训练图像的混合损失；将损失传回三维高斯泼溅模型，对模型进行训练更新；给定目标视角及目标视角对应的相机参数，通过训练后的三维高斯泼溅模型进行目标视角下的图像渲染，生成在目标视角下的目标图像。本申请通过前向映射，可以缓解稀

119295638A

CN

CN119295638A权利要求书1/2页

2

1.一种基于高斯泼溅的图像渲染方法，其特征在于，所述方法包括：

获取训练图像，选取所述训练图像的参考视角，通过多视角立体模型得到参考视角下所述训练图像的多视图立体深度；

将所述多视图立体深度进行过滤融合，生成多视图立体点云；

将所述多视图立体点云输入三维高斯泼溅模型，对三维高斯泼溅模型的位置参数进行初始化；

将所述训练图像和多视图立体深度通过前向映射和损失计算，得到所述训练图像的混合损失；

将所述混合损失传回经过初始化的三维高斯泼溅模型，对所述三维高斯泼溅模型进行训练更新；

给定目标视角及目标视角对应的相机参数，通过训练后的三维高斯泼溅模型进行目标视角下的图像渲染，生成在目标视角下的目标图像。

2.如权利要求1所述的方法，其特征在于，所述选取所述训练图像的参考视角，通过多视角立体模型得到参考视角下所述训练图像的多视图立体深度的步骤包括：

选取所述训练图像的一个视角作为参考视角，选取所述训练图像除参考视角以外的视角作为源视角；

通过多视角立体模型提取所述训练图像在参考视角与源视角下的特征，基于参考视角与源视角下的特征生成训练图像在所述参考视角下的多视图立体深度。

3.如权利要求1所述的方法，其特征在于，所述将所述多视图立体深度进行过滤融合，生成多视图立体点云的步骤包括：

计算所述训练图像每个视角下的多视图立体深度；

将所有视角下的多视图立体深度通过几何一致性过滤，生成深度一致性掩膜；

根据所述深度一致性掩膜，融合生成所述目标视点的多视图立体点云。

4.如权利要求1所述的方法，其特征在于，所述将所述训练图像和多视图立体深度通过前向映射和损失计算，得到所述训练图像的混合损失的步骤包括：

将通过初始化的三维高斯泼溅模型对训练图像进行渲染，生成渲染图像；

将训练图像通过前向映射，得到所述训练图像的虚拟视角下的投影图像；

根据虚拟视角下的投影图像，获取所述训练图像在虚拟视角下的外观信息；

基于所述外观信息和所述渲染图像，通过混合损失函数生成混合损失。

5.如权