基于超图深度学习的三维点云语义分割技术研究.pdf

基于超图深度学习的三维点云语义分割技术研究

研究生姓名：肜彦鹏导师：黄一平

学科：通信工程（含宽带网络、移动通信等）研究方向：人工智能年级：2021

摘要

点云分割算法是计算机视觉和人工智能领域中的重要研究内容，在工程领域、

工业领域、医学领域、建筑领域和地理信息等多种领域应用广泛。三维点云语义分

割是让机器真正了解和透彻分析三维场景内的物体的基础。目前深度学习方法在三

维点云语义分割方面已经具有一些成熟的算法。然而，深度学习方法在点云语义分

割任务中存在局限性，比如，深度网络模型在点云建模中会忽略数据之间的高阶相

关性；并且目前的注意力网络模型应用于大规模的复杂高阶点云数据中，会带来计

算量增加的问题，从而浪费大量资源和时间。为此，本文根据点云的特性，利用超

图能够建模数据间复杂、高阶关系的优势，从超图建模、超图卷积算子、超图网络

结构等多方面深入探讨，以构建能准确、高效分割点云场景的深度学习网络为目标，

提出了两个有效的超图神经网络框架。本文的主要研究工作总结如下：

（1）针对从复杂高阶的点云数据中快速高效地提取关键特征的问题，本文提

出了一个用于三维点云语义分割的超图位置注意力卷积网络。首先，为了有效地组

织无序、非结构化和高维的点云，通过结合最远点采样和球查询方法构建超图来捕

获点云之间的相关性。然后，提出了一个超边位置注意卷积算子来提取点云的特征

信息。该算子采用超边-超边特征传播模型，不仅有效利用了点云的空间位置信息和

高阶信息，而且避免了传统超图卷积神经网络引入大量参数的问题，减少了网络参

数数量。最后，设计了一个类ResNet的模块用于特征学习，通过在网络中引入深

度卷积进一步提高了网络的效率。在公共数据集S3IDS上的分割实验结果表明了所

提出方法的有效性，并且具有较低的复杂度。

（2）针对现有的超图神经网络模型在语义分割过程中无法有效建模远程依赖

关系的问题，本文提出了一个用于三维点云语义分割的超图转换器神经网络。首先，

利用超图对点云数据进行建模，得到节点集和超边集。然后，提出了一个超图融合

注意力模块，能够更好地关注点云中的重要区域和特征。利用节点和超边交叉注意

力模块，可以有效捕捉节点和超边之间的复杂依赖关系，进一步提升了模型在捕捉

全局上下文关系的能力。最后，为了更好地利用点云位置信息，引入相对位置嵌入

与注意力机制相结合，进一步增强模型对点云数据的理解和处理能力，从而提高语

义分割的性能。在公共三维数据集S3IDS和ScanNetV2上的实验结果表明，所提出

的网络与现有的SuperCluster等方法相比较有效地提升了点云的分割精度。

综上所述，利用超图深度学习技术开展三维点云分割的研究，旨在提升场景理

解和分析能力，满足系统智能化需求。

关键词：超图；超图神经网络；三维点云分割；注意力机制；图转换器

Researchon3Dpointcloudsemanticsegmentationtechnology

basedonhypergraphdeeplearning

GraduateStudent:YanpengRong

Supervisor:YipingHuang

Major:CommunicationEngineering(includingbroadbandnetwork,mobile

communication,etc.)

ResearchDirection:ArtificialIntelligence

Grade:2021

Abstract

Pointcloudsegmentationalgorithmsareanimportantresearchcomponentinthefield

ofcomputervisionandartificialintelligence,andarewidelyusedinavarietyoffields

suchasengineering,industry,medicine,archi