评估兼容鱼眼的 3D 高斯散射方法在超过 180° 视场的真实图像上的效果.pdfVIP

评估兼容鱼眼的3D高斯散射方法在超过180°视场

的真实图像上的效果

UlasGunes,MatiasTurkulainen,JuhoKannala,andEsaRahtu

TampereUniversity,Tampere,Finland

{ulas.gunes,esa.rahtu}@tuni.fi

AaltoUniversity,Espoo,Finland

{matias.turkulainen,juho.kannala}@aalto.fi

UniversityofOulu,Oulu,Finland

本

译摘要我们首次评估了基于鱼眼镜头的3D高斯点云方法——Fisheye-GS

中和3DGUT——在视场超过180°的真实图像上的表现。我们的研究涵盖了

使用200°鱼眼相机捕捉到的室内和室外场景，并分析了每种方法如何处理

1

v现实世界设置中的极端失真。我们在变化的视场（200°、160°和120°）下

8评估性能，以研究边缘失真与空间覆盖之间的权衡。Fisheye-GS得益于视

6

9场（FoV）减小，尤其是在160°时，而3DGUT在所有设置中保持稳定，

6并且在完整的200°视场下仍能维持高感知质量。为了解决基于结构从运动

0.（SfM）初始化的局限性，该方法通常在强失真情况下失败，我们提出了一

8种基于深度的方法，使用每场景仅需2-3张鱼眼图像的UniK3D预测。尽

0

5管UniK3D没有在真实鱼眼数据上进行训练，但它生成了密集点云，即使

2在有雾、眩光或天空等困难场景中，也能实现与SfM相当的重建质量。我

:

v们的结果突显了基于鱼眼镜头的3DGS方法从稀疏且严重失真的图像输入

i

x中进行广角3D重建的实际可行性。

r

a

Keywords:鱼眼·3D高斯图元渲染·深度初始化

1介绍

三维高斯散射（3DGS）已成为高质量3D场景重建和实时图像基础渲染

的基础技术，在学术界和工业界得到了广泛应用。许多方法扩展了3DGS以

提高渲染、编辑和优化能力，但几乎所有这些方法都依赖于窄视场的透视相

机，由于其设计简单且校准流程成熟，这类相机仍然是默认选择。

相比之下，鱼眼相机提供了超宽的视野，这使得可以用更少的照片覆盖

更大的场景。这使得它们在自动驾驶、机器人感知和虚拟/增强现实等领域

2U.Gunesetal.

中的3D重建任务中极具吸引力，在这些领域中，减少传感器数量和捕获时

间至关重要。通过减少所需视点的数量，鱼眼图像可以显著降低重建管道的

计算、内存和时间需求。尽管有这种潜力，基于鱼眼相机的3D重建仍处于

探索不足的状态，主要是由于其非线性投影模型和强烈的径向畸变带来的额