探索用于语义神经辐射场标签高效训练的主动学习方法-计算机科学-主动学习-语义神经辐射场.pdfVIP

探索用于语义神经辐射场标签高效训练的主

动学习方法

YuzheZhuLileCaiKangkangLuFayaoLiuXuleiYang

2

InstituteforInfocommResearch(IR),A*STAR,Singapore

NanyangTechnologicalUniversity,Singapore

s230061@e.ntu.edu.sg,{caill,lu_kangkang,liu_fayao,yang_xulei}@i2r.a-star.edu.sg

摘要—神经辐射场（NeRF）模型是隐式神经场景表示方注的图像级随机采样。尚不清楚如何通过采用更复杂的

法，提供了前所未有的新视角合成能力。语义感知的NeRF不采样技术进一步提升性能。

本仅捕捉场景的形状和辐射，还编码场景的语义信息。训练具有语

译义感知的NeRF通常需要像素级类别标签，这可能非常昂贵且在这项工作中，我们探索主动学习（AL）作为一种

中难以收集。在这项工作中，我们探索主动学习作为减轻标注负担有前景的解决方案来缓解训练语义NeRF所需的标注

的一种潜在解决方案。我们研究了用于语义感知NeRF主动学成本。主动学习已在各种视觉任务中得到了广泛研究，

1习的各种设计选择，包括选择粒度和选择策略。此外，我们提出包括图像分类、语义分割和目标检测[6]等，但它尚未

v

1了一种新的主动学习策略，在样本选择中考虑3D几何约束。我被用于新出现的具有语义感知能力的NeRF模型。最

5们的实验表明，主动学习可以有效地减少训练具有语义感知的

3NeRF的标注成本，与随机采样相比，注释成本降低了超过2。接近的工作是ViewAL[7]，它利用多视图数据集中的视

7角一致性来进行语义分割模型的主动学习。然而，与帧

1IndexTerms—主动学习，语义神经辐射场

.级分割模型（例如.，DeepLabv3+[8]在[7]中使用）不

7

0I.介绍同的是，NeRF的语义预测分支由于被建模为一个视角

5

2不变函数，因此天生具有多视图一致性，这使得视角一

:神经辐射场（NeRF）模型[1]近期作为强大的3D致性对于主动学习语义NeRF无效。在这项工作中，我

v

i场景表示工具出现。它使用神经网络来表示单个场景的们提出了一种新的主动学习策略，在样本选择时考虑了

x

r几何形状和辐射，并通过体积渲染进行新颖视图合成。3D几何约束。

a

NeRF模型在增强现实、自主导航、城市测绘等领域发

我们的贡献可以概括如下：

现了广泛的应用[2]。

传统NeRF主要关注几何和光度准确性[3],[4]。我们对语义感知的NeRF进行了全面的主动学习研

Semantic-NeRF[5]标志着一项重大进步，它同时表示场究。我们调查了各种设计选择，包括选择策略（例

景的物理特性和语义。它增加了一个将空间坐标映射到如.、基于不确定性的、基于多样性的和混合方法）

语义标签的语义预测分支。这一技术飞跃促进了更复杂和选择粒度（例如.、图像级对战.区域级选择）。我

的应用，如场景理解和编辑。们的实验表明，主动学习可以有效地减少训练语义

与仅使用（未标记的）