CN120236273A 一种面向三维高斯场景的轻量型实时语义分割方法 （南开大学深圳研究院）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN120236273A(43)申请公布日2025.07.01

(21)申请号202510301772.7

(22)申请日2025.03.14

(71)申请人南开大学深圳研究院

地址518000广东省深圳市盐田区海山街

道盐田科技大厦16层

(72)发明人孙雷孙偲洋林万彪熊锦麟彭博文

GO6NGO6N

GO6N

3/0455(2023.01)

3/0464(2023.01)

3/082(2023.01)

(74)专利代理机构天津睿勤专利代理事务所(普通合伙)12225

专利代理师孟福成

(51)Int.CI.

20/64(2022.01)10/26(2022.01)20/70(2022.01)10/82(2022.01)GO

20/64(2022.01)

10/26(2022.01)

20/70(2022.01)

10/82(2022.01)

GO6VGO6V

权利要求书2页说明书6页附图3页

(54)发明名称

输入

输入：

多视角RGB图像+相机位姿

S1:数据准备

S2:二维语义分割

(PP-LiteSeg)

S3:三维场景建模与语义投影(3DGS)

S4:语义优化与分割输出

输出：带语义标签的三维高斯函数

(57)摘要

CN120236273A本发明提供了一种面向三维高斯场景的轻量型实时语义分割方法，属于计算机视觉与三维场景理解领域。该流程包括以下步骤：S1:数据准备，获取包含点云、图像、位姿在内的多模态信息数据并对数据进行预处理；S2:二维语义分割，利用PP-LiteSeg对图像生成像素级语义分割图及语义标签；S3:三维场景建模与语义投影，融合多模态信息完成三维高斯场景重建，并将二维语义投影到高斯函数上，形成初步高斯函数语义特征；S4:语义优化与分割输出，考虑图像差、语义差及平滑性，建立损失函数，优化语义特征并输

CN120236273A

受限设备的场景理解任务。

CN120236273A权利要求书1/2页

2

1.一种面向三维高斯场景的轻量型实时语义分割方法，其特征在于，包括以下步骤：

S1:数据准备：获取场景的多视角彩色图像、相机位姿信息及初始点云模型，并对数据进行预处理；

S2:二维语义分割：将图像输入PP-LiteSeg轻量级分割模型进行语义分割，获得像素级的二维语义分割图及语义标签；

S3:三维场景建模与语义投影：融合多视角彩色图像、相机位姿和初始点云进行多模态数据的三维高斯重建，生成高斯函数集合，并通过相机位姿将二维语义分割图投影到高斯函数，初步赋值高斯函数语义特征；

S4:语义优化与分割输出：设计损失函数，通过比较渲染得到的语义图与二维语义分割图，对高斯函数的语义特征进行优化，得到带语义标签的三维高斯函数集合并进行分割输

出。

2.根据权利要求1所述的一种面向三维高斯场景的轻量型实时语义分割方法，其特征在于，所述步骤S2中的轻量级二维分割模型PP-LiteSeg对输入图像进行处理时采用量化压缩与知识蒸馏的双重策略，将PP-LiteSeg的浮点运算转换为整数运算，有效减少内存占用。

3.根据权利要求2所述的一种面向三维高斯场景的轻量型实时语义分割方法，其特征在于，蒸馏过程中，使用预先训练的ResNet-50作为教师网络，通过特征模仿损失函数传递高层语义特征，以确保压缩后模型分割精度损失。

4.根据权利要求1所述的一种面向三维高斯场景的轻量型实时语义分割方法，其特征在于，所述步骤S3中，在快速由多模态信息生成三维高斯模型后，将二维语义分割图投影到高斯函数的过程具体包括：

通过高斯函数的位置和相机位姿信息，计算其在每个视角图像中的投影像素坐标；

收集所有视角中投影点的语义标签，采用多数投票法选取权重最大的标签作为该点标签，初步赋值高斯函数的语义特征并将初步赋值结果转为语义特征向量。

5.根据权利要求1所述的一种面向三维高斯场景的轻量型实时语义分割方法，其特征在于，所述步骤S4中对高斯函数的语义特征进行优化具体包括：

将步骤S3中得到的高斯场景的语义特征渲染到二维图像，并与二维语义分割图进行对比，计算两者的差异；

在使用图像差作为优化目标外，引入邻近高斯函数之间的平滑约束，确保空间上靠近的高斯函数具有相似的