CN118447167A 一种基于3D点云的NeRF三维重构方法及系统 （武汉理工大学）.pdfVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN118447167A

(43)申请公布日2024.08.06

(21)申请号202410621410.1

(22)申请日2024.05.20

(71)申请人武汉理工大学

地址430070湖北省武汉市洪山区珞狮路

122号

(72)发明人张永健高曙陈志军

(74)专利代理机构武汉宇晨专利事务所(普通

合伙)42001

专利代理师庞宽

(51)Int.Cl.

G06T17/00(2006.01)

G06T17/20(2006.01)

G06T19/20(2011.01)

G06T15/20(2011.01)

G06N3/0464(2023.01)

权利要求书4页说明书13页附图1页

(54)发明名称

一种基于3D点云的NeRF三维重构方法及系

统

(57)摘要

本发明提出了一种基于3D点云的NeRF三维

重构方法及系统。该系统整合激光雷达与高清摄

像头采集的3D点云数据及图像信息，输入至改进

型NeRF模型中进行训练，以构建场景的高精度三

维模型。所述改进型NeRF模型融合显式与隐式场

景表示，采用哈希网格编码方式对体积密度与颜

色属性进行独立建模，利用多层感知机(MLP)对

颜色属性进行精细化处理，从而提升模型的构建

效率及渲染质量，在自动泊车操作阶段，车辆控

制系统依据改进型NeRF模型输出的3D模型进行

精确的路径规划，保障自动泊车的安全性与准确

A性。智能停车场辅助自动泊车系统的实施，优化

7了自动泊车过程，提高了运营效率和用户体验。

6

1

7

4

4

8

1

1

N

C

CN118447167A权利要求书1/4页

1.一种基于3D点云的NeRF三维重构方法，其特征在于，包括以下步骤：

使用场景的来自相机的相机数据、所述场景的来自激光雷达的点云数据、所述场景的

网格空间，以及沿着从所述相机延伸的射线上的采样点来联合训练体积密度多层感知机和

颜色多层感知机以获得所有射线渲染的像素颜色对所述场景进行建模；

在所述联合训练期间所述网格空间按第一分辨率分割后由第一分辨率的体素网格组

成，或按第二分辨率分割后由第二分辨率的体素网格组成，第二分辨率为依次从包括第一

分辨率的多种分辨率中选择的一种分辨率；

所述体积密度多层感知机接收所述点云数据映射到各个第一分辨率的体素网格单元

中最近体素网格的点云数作为输入，并生成所述采样点处的体积密度；

所述颜色多层感知机接收所述点云数据映射到各个第二分辨率的体素网格单元中的

点云簇的均值点坐标和采样点在第二分辨率的体素网格组成的网格空间中的索引作为输

入，生成第二分辨率的体素网格中所述采样点处的颜色特征向量，所述颜色多层感知机还

拼接所有第二分辨率层次的颜色特征向量得到采样点的颜色嵌入特征；

在所述联合训练期间使用所述采样点的颜色嵌入特征和所述相机数据生成所述采样

点的最终颜色；

在所述联合训练期间还使用所述采样点的最终颜色、所述采样点处的体积密度和所述

射线上相邻采样点之间的距离获得所述射线渲染的像素颜色。

2.根据权利要求1所述的方法，其还包括在所述联合训练之后，基于所述建模后的场景

来致动的部件。

3.根据权利要求1所述的方法，其特征在于，所述采样点包括第一采样点和第二采样

点，所述第一采样点沿着所述射线均匀地间隔开，所述第二采样点沿着所述射线在射线的

各单元区段的线性密度与所述点云数据映射到靠近所述射线的各单元区段的各个第一分

辨率的体素网格中的点云数正相