CN120259827A 基于动态高斯建模的多模态数据融合方法、装置和车辆 （张家港港务集团有限公司港埠分公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN120259827A(43)申请公布日2025.07.04

(21)申请号202510714683.5

(22)申请日2025.05.30

(71)申请人张家港港务集团有限公司港埠分公

司

地址215633江苏省苏州市金港镇香山北

路100号

申请人北京主线科技有限公司

GO6V10/82(2022.01)GO6V10/764(2022.01)GO6N3/042(2023.01)

GO6N3/0464(2023.01)

GO6N3/0895(2023.01)

(72)发明人石亚飞褚佳鑫

白云飞吴淼张天雷邢加伟

(74)专利代理机构北京格式化知识产权代理事务所(普通合伙)16096

专利代理师孙敬霞

(51)Int.CI.

GO6V10/80(2022.01)

GO6V20/64(2022.01)

权利要求书2页说明书11页附图3页

(54)发明名称

基于动态高斯建模的多模态数据融合方法、装置和车辆

(57)摘要

CN120259827A本公开提供了一种基于动态高斯建模的多模态数据融合方法、装置和车辆。本公开一实施例中，基于动态高斯建模的多模态数据融合方法包括：获取连续多帧多模态数据，通过多模态数据获得3D体素特征和多视角图像特征，基于3D体素特征构建动态高斯参数化模型，利用动态高斯参数化模型和多视角图像特征生成多视角高斯特征并将多视角高斯特征投影至动态分辨率BEV空间，从而获得BEV特征，3D体素特征采用动态体素化得到，并且该动态体素化基于八叉树稀疏体素编码并根据场景复杂度自适应调整分辨率。本

CN120259827A

获取车辆所处环境的连续多帧多模态数据，每帧多模态

获取车辆所处环境的连续多帧多模态数据，每帧多模态数据包括点云、多视角图像、IMU数据和GNSS数据

利用连续多帧多模态数据获得3D体素特征和多视角图像特征

基于3D体素特征构建动态高斯参数化模型

利用动态高斯参数化模型和多视角图像特征生成多视角高斯

特征，并将多视角高斯特征投影至动态分辨率BEV空间以获得

BEV特征

201

202

203

204

CN120259827A权利要求书1/2页

2

1.一种基于动态高斯建模的多模态数据融合方法，其特征在于，所述方法包括：

获取车辆所处环境的连续多帧多模态数据，每帧所述多模态数据包括点云、多视角图像、IMU数据和全球导航卫星系统GNSS数据；

利用所述连续多帧多模态数据获得3D体素特征和多视角图像特征，所述3D体素特征中包含基于所述多视角图像得到的语义标签，所述3D体素特征通过动态体素化得到，所述动态体素化基于八叉树稀疏体素编码并根据场景复杂度自适应调整分辨率；

基于所述3D体素特征构建动态高斯参数化模型；

利用所述动态高斯参数化模型和所述多视角图像特征生成多视角高斯特征，并将所述多视角高斯特征投影至动态分辨率鸟瞰图BEV空间以获得BEV特征。

2.根据权利要求1所述的方法，其特征在于，所述3D体素特征通过如下方式得到：

对所述多模态数据进行动态体素化以得到第一3D体素特征，所述动态体素化基于八叉树稀疏体素编码并根据场景复杂度自适应调整分辨率；

通过2D分割模型基于所述多视角图像得到2D语义标签；

将所述2D语义标签投影至所述第一3D体素特征描述的3D体素空间并通过可变形卷积补偿传感器时空偏差以获得第二3D体素特征，所述第二3D体素特征中包含用基于所述多视角图像得到的语义标签。

3.根据权利要求1所述的方法，其特征在于，所述基于所述3D体素特征构建动态高斯参数化模型，包括：

通过轻量化MLP网络将所述3D体素特征转换为高斯球体参数；

基于图卷积网络优化相邻体素的所述高斯球体参数以获得所述动态高斯参数化模型。

4.根据权利要求3所述的方法，其特征在于，所述高斯球体参数可以包括位置、协方差矩阵、语义概率，所述语义概率表示高斯球体所属的语义类别及其概率值。

5.根据权利要求1所述的方法，其特征在于，所述多视角高斯特征通过可微分高斯溅射得到。

6.根据权利要求1所述的方法，其特征在于，所述将所述多视角高斯特征投影至动态分辨率BEV空间，包括：基于Transformer架构将多视角高斯特征投影至动态分辨率BEV空间。

7.根据权利要求1所述的方法，其特征在