基于注意力的稀疏卷积原型点云语义分割.pdfVIP

摘要

摘要

点云数据提供了对真实世界的完整描述，为人们理解世界呈现出全新的视角。

关于点云数据的研究涉及到生活的方方面面，其中模型分类和语义分割在诸多领

域有着广泛的应用。模型分类在考古研究和建筑评估上发挥着重要作用，而点云

语义分割作为计算机分析三维场景的关键方法，为自动驾驶中行人和道路环境识

别、高速路异物检测等任务提供强有力的支撑。为了更好地理解点云的结构特征，

本文提出一种针对任务模型分类的改进算法层级掩码自编码Point-HMAE，该算

法采用多层多尺度重构多层点云，使得现有模型能够精准表征点云特点。尽管现

有方法在处理室内物体的语义分割时，将高度信息视为点云的普通特征的一部分，

但没有挖掘出不同高度点云之间的关联性。此外，传统的分类器忽略了对复杂空

间结构的考虑，在对不同类别特征之间的相对距离上的优化仍然不够。针对这些

不足，本文提出一种名为原型垂直交叉注意（VCA-Proto）的方法，以增强点云的

语义分割能力。本文进行了大量的实验，结果证明，同时优化相对距离和绝对距

离，并引入注意力机制，可以实现更好的对象分割效果。本文的主要研究内容和

创新点主要包括：

（1）本文提出一种多尺度点云重构方法。该方法在主干网络的不同层级对点

云数据进行不同尺度的重构。随着网络层级的加深，点云从细粒度重构转向粗粒

度重构，从而增强网络对点云数据的语义理解。

（2）本文设计一种垂直交叉注意力机制，专门应用于对稀疏卷积中数据的处

理。通过深入分析稀疏矩阵的存储模式，本文提出了一种能够精准识别与关键点

相匹配的查询点的策略。这种方法通过增强关键类别的特征，显著提升了分类或

识别任务中的度量性能。

（3）本文采取原型分类器的方法来增强语义分割的效果。在这种方法中，本

文设置了固定不变的原型，即为每个类别设定了多个聚类中心。通过比较点云的

特征与这些聚类中心之间的相似性，可以更好地理解数据点与各个类别之间的关

联性。此外，为了应对类别间样本数量不平衡的问题，本文引入了Dice损失函数，

这有助于提升模型在处理不同类别时的性能均衡性。

关键词：点云分类，点云语义分割，表征学习，注意力机制，原型学习

I

ABSTRACT

ABSTRACT

Pointclouddataprovidesacompletedescriptionoftherealworld,presentinganew

perspectiveforpeopletounderstandtheworld.Researchonpointclouddatainvolvesvar-

iousaspectsoflife,amongwhichmodelclassificationandsemanticsegmentationhave

widespreadapplicationsinmanyfields.Modelclassificationplaysanimportantrolein

archaeologicalresearchandarchitecturalassessment,whilepointcloudsemanticsegmen-

tation,asakeymethodforcomputeranalysisof3Dscenes,providesstrongsupportfor

taskssuchaspedestrianandroadenvironmentrecognitioninautonomousdrivingandfor-

eignobjectdetectiononhighways.Tobetterunderstandthestructuralfeaturesofpoint

clouds,thisthesisproposesanimprovedalgorithmfortaskmodelclassificationcalled

PointHierarchyMaskedAutoEncoder(Point-HMAE),whichleveragesh