基于神经辐射场的室内场景光照估计.pdfVIP

IlluminationEstimationofIndoorScenesBasedonNeural

RadianceFields

AdissertationsubmittedtoSichuanUniversity

inpartialfulfillmentoftherequirements

forthedegreeof

MasterofEngineering

inComputerTechnology

By

YuwanLiu

Supervisor：Prof.YanliLiu

ComputerScience,SichuanUniversity,Chengdu,China

June2024

摘要

增强现实技术将计算机渲染的虚拟物体叠加到真实环境中，在电影、教育、医疗和

家居等领域中有十分广泛的应用。为了提高虚拟物体与真实环境融合的真实感，需要

保证渲染虚拟物体时所使用的光照条件与真实环境一致，也即实现虚实融合的光照一

致性。光照估计技术是解决虚实融合光照一致性问题的重要手段，该技术尝试从真实

场景的图像或视频中估计场景光照分布，并将其作为渲染虚拟物体的光照条件，有效

提高了虚实融合场景的真实感。

早期的光照估计方法通过放置光照探针来直接捕获全景光照贴图，以获得场景光照

信息。在这基础上的联合优化方法简化了操作，依赖于特定输入信息作为先验，直接

优化所有场景参数。但是这些方法通常需要借助于特殊的采集设备或者其他参照物，

在实际应用过程中比较耗时耗力，效率不高。并且由于室内环境的复杂性和光照条件

的多样性，传统的光照估计方法往往难以取得理想的效果，在场景重建和光照估计方

面仍存在较多的挑战。现有方法大多假设整个场景共享相同的光照条件，忽略了由于

局部光源和场景遮挡导致的光照的空间变化性，即：同一场景不同空间位置处的光照

分布可能存在较大的差异，使得光照估计结果具有较大误差。

为了解决上述问题，本文针对室内场景开展满足空间变化性的光照分布估计方法研

究。由于场景外观是场景几何、材质和光照共同作用的效果，为此，首先在忽略光照

空间变化性的假设下，研究基于神经辐射场的室内场景材质、几何等本征属性和光照

分布的求解方法；在此基础上，进一步结合光照的空间变化性，实现更准确的室内场

景光照估计。本文主要贡献如下：

1.本文提出了一种基于神经辐射场的场景本征属性求解与光照估计方法，该方法

分为两阶段。第一阶段将场景分解为神经几何场、材质场和辐射场，以预测材

质、几何等场景本征属性。第二阶段则利用估计的本征属性对神经光照场的亮

度和光源掩膜进行重建和优化。实验证明，利用估计光照渲染的虚拟物体在与

真实场景融合后可以获得较真实的虚实融合效果。

2.在上述方法的基础上，为了进一步模拟光照的空间变化性，本文提出了一种基

于神经辐射场的空间变化光照估计方法。该方法利用卷积神经网络能够较好地

捕获像素空间关系的能力，根据估计的材质、几何等场景本征属性，从场景图

像中提取各像素对应场景点处的光照分布，从而实现满足空间变化性的场景光

照求解，进一步提高增强现实技术中的虚实融合效果。

在实验中，本文从定性和定量两方面验证了所提方法的有效性。实验结果表明，

本文提出的基于神经辐射场的场景本征属性求解方法较为准确地估计了场景的材质和

几何属性，空间变化的光照估计方法能够恢复高质量的场景光照，并且在不同场景和

光照条件下均具有较好的鲁棒性和泛化能力。本文研究成果，不仅为室内场景光照估

计提供了新的思路和方法，也为相关领域的研究提供了参考和借鉴。

关键词：神经辐射场；逆向渲染；光照估计；新视角合成