点云深度学习系列二PointCNN教程.pdfVIP

点云深度学习系列二： PointCNN 一、主要思想 从前一层的数据中取 K 个候选点 (p1,p2,...pK) ，使用 MLP(多层感知器 ) 来 学习一个 K×K 的变换矩阵（ X-transformation ，X 变换）也就是说 X=MLP(p1,p2,...pK) ，然后用它同时对输入特征进行加权和置换，最后对经过 变换的特征应用典型卷积。我们称这个过程为 X-Conv，它是 PointCNN 的基本 构建模块。 从前一层中选取代表点集的方法，暂时的实现是： - 对分类问题：随机下采样。 - 对语义分割问题：最远点采样。 二、 与 CNN的对比图 三、 X-Conv 卷积操作 1.P ←P- p 将点集 P 变换到以 p 点为中心的局部坐标系 2.F δ←MLPδ(P) 逐点应用 MLPδ, 将 P′从 R3坐标空间映射到 RCδ 特征空间 3.F ?←[F δ,F] 把 F δ 和 F 拼接起来 ,F ? 是一个 K×(C δ+C1) 矩阵 4.X ←MLP(P) 用 MLP学习 P′获得 K×K 的 X 变换矩阵 5.FX←X×F ? 应用 X 变换矩阵加权置换 F ? 6.Fp ←Conv(K,FX) 做卷积 首先将点转换到代表点的局部坐标系，然后将每个点升 到 Cδ 维度，再将 提取特征和原来 C1个特征融合进行融合。对于转换后的点学习到 X 变换矩阵， 对融合后的特征变换得到 FX，再采用卷积处理。 四、PointCNN 框架 分类任务 在 Fig4(a) 中，我们展示了一个简单的 PointCNN，带有两个 X-Conv 层，逐 渐将输入点 ( 带有或不带有特征 ) 转换为较少的代表点，但每个点都具有更丰富 的特征。在第二个 X-Conv 层之后，只剩下一个代表点，它从前一层的所有点接 收信息。 在 PointCNN 中，我们可以将每个代表点的感受野粗略地定义为比率 K / N，其中 K 是相邻点的数目， N是前一层中的点的数目。通过这个定义，最后一 个剩下的点“看到”来自上一层的所有点，因此具有接受域 1.0 – 它具有整 个形状的全局视图，因此它的特征为形状的语义理解提供了信息。 我们可以在最后一个 X -conv 层输出的顶部增加一些完全连接的层，然后 是用于训练网络的损失。请注意， Fig4(a) 中 PointCNN 的顶层 X-Conv 层的训练 样本数量迅速下降，使得彻底训练顶层 X-Conv 层的效率很差。 为了解决这个问题，我们提出了 Fig4(b) 中的 PointCNN，其中更多的代表 点被保留在 X-Conv 层中。但是，我们希望保持网络的深度，同时保持感受野的 增长率，使得更深层的代表点“看到”整个形状的越来越大的部分。我们通过 将图像 CNN中的空洞卷积思想应用到 PointCNN 中来实现这一目标。我们可以不 总是以 K 个邻近点作为输入，而是从 K×D 个邻近点对 K 个输入点进行均匀采样， 其中 D是膨胀率。在这种情况下，感受野从 K/N 增加到 (K ×D)/N ，而不增加实 际相邻点数量，也不增加内核大小。 在 Fig4(b) 中的 PointCNN 的第二个 X-Conv 层中，使用了膨胀率 D = 2 ，因 此剩下的所有四个代表点“看到”整个形状，并且它们都适合做出预测。请注 意，通过这种方式，与 Fig4(a) 的 PointCNN相比，我们可以更彻底地训练顶层