基于几何编码和对比学习的点云语义分割研究.pdf

基于几何编码和对比学习的点云语义分割研究

摘要

随着3D传感器技术的成熟，3D数据的获取难度逐渐下降，复杂的现实环境可以由

点云这种三维数据形式来构建，其将空间中所有物体以三维点的形式保存，且每个点包

含多维信息来记录物体原始信息。而点云语义分割任务需要对空间中各个目标建立精细

三维掩膜，对所有空间点，作为理解空间场景的关键技术，近年来在自动驾驶、智能化

机器人、计算机视觉等各个领域引起了高度关注。目前编解码结构的神经网络在2D图

像处理领域出色地完成了像素级分类需求，但是在3D数据处理上还尚未成熟。

在处理点云这种不规则的3D数据形式时，网络需要设计各种结构来有效地提取特

征。（1）点云具有旋转不变性，即经过刚性变换后所有空间各点的相对位置不会发生改

变，这需要网络充分考虑这一性质才能精确地进行点级分类任务。（2）点云中包含的点

数量庞大，难以一次性处理，因此编码器需要对其进行逐层下采样来提高提取特征的效

率，然而多次下采样会造成空间几何信息丢失。（3）对于语义分割这种精细任务，解码

器的各个隐含层特征不受监督，会导致多次插值操作得到错误分割结果。

本文提出的网络构建了多种结构来解决上述问题。（1）针对点云的旋转不变性设计

了局部几何编码模块，利用空间点之间的极坐标表示的相对角度关系，来显式地产生具

有旋转不变性的特征表示，此外，该模块还计算了局部法线信息来增强局部语义信息，

丰富点云的几何特征。（2）对于几何信息丢失问题，本文引入多解码器集成模块，将编

码器每一层特征进行恢复，并利用融合机制得到包含多尺度信息的统一分割结果。（3）

对于隐含层不受监督的问题，本文利用对比学习来规范解码器输出，即生成编码器隐含

层的多类别标签去监督解码器隐含层的预测多类别标签。此外，对比学习也可以和多解

码器集成模块结合，形成多种尺度的监督网络，进一步优化精细的空间分割结果。

为了验证本文提出的各个方法有效性，本文展示了不同公共数据集上的分割结果，

并和多种其他网络进行了对比，并且对于本文提出的不同方法也进行了充分的消融实

验。经过实验验证，本文所提出的方法具有优秀的点云语义分割能力，并面对多种复杂

的空间情景时得到精确的点级分类掩膜。

关键词：点云；点云语义分割；局部几何编码；多解码器集成；对比学习

基于几何编码和对比学习的点云语义分割研究

ABSTRACT

Withthedevelopmentof3Dsensortechnology,thedifficultyofobtaining3Ddatais

graduallyreduced.Thecomplexreal-worldenvironmentcanbeconstructedfromthe3Ddata

formofpointcloud,whichstoresallobjectsinthespaceas3Dpoints,andeachpointcontains

multi-dimensionalinformationtorecordtheoriginalinformationoftheobject.Thepoint

cloudsemanticsegmentationtaskneedstoestablishanaurate3Dmaskforeachobjectin

thespaceandgenerateapoint-levelclassificationforallspatialpoints.Asacrucial

technologyforspatialsceneunderstanding,ithasattractedgreatattentioninvariousfields

suchasautonomousdriving,intelligentrobots,