基于生成式深度学习的光照可控图像合成技术研究.pdfVIP

摘要

可控图像合成是计算机视觉和图形学领域的重要研究方向之一，光照可控

图像合成作为可控图像合成的一个重要研究分支，旨在通过对图像光照的精确

可控，以合成具有特定光照效果的图像。现有的光照可控图像合成方法，存在

光照可控编辑效果不佳，合成图像纹理模糊，阴影部位细节丢失，表面着色编

辑失败等问题。因此，本文的研究基于生成式深度学习模型，实现高质量的光

照可控图像合成。主要研究工作如下：

为了解决在光照可控图像合成任务中，合成图像纹理信息缺失、阴影部位

模糊以及光照条件控制失败等问题，提出了基于光照—纹理联合感知的光照可

控图像合成方法（Illuminationcontrollableimagesynthesismethodbasedonjoint

illumination-textureperception,ICISI）。ICISI隐含的融合了物理渲染方程的思想，

采用分层采样的架构来控制图像中光照的方向和色温，并在模型当中构造了一

个光照-纹理联合感知瓶颈结构，用于提取图像的光照特征表示以及几何纹理特

征信息。在VIDIT和Multi-Illumination数据集上的实验评估结果显示，ICISI相

较于目前最新的光照控制方法在图像合成指标PSNR、SSIM、LPIPS和MPS上

分别提升了7.70%、14.55%、11.12%与8.92%。

为了解决在光照可控图像合成任务中，图像物体表面着色编辑失败和特定

场景的限制等问题，提出了基于光场统一的本征神经辐射场光照可控图像合成

方法（Intrinsicneuralradiationfieldilluminationcontrollableimagesynthesis

methodbasedonlightfieldunification,INRFI）。INRFI将本征分解密度序数估计

和相互反射统一光场引入到神经辐射场当中，将图像分解为本质属性，并且能

够对反射率进行可控，实现物体表面的着色编辑。在DiLiGenT-MV、Replica和

Blender数据集上的实验结果显示，在图像本质属性推断分解中，INRFI相较于

目前最新的方法在指标PSNR、SSIM和LPIPS上分别提升了3.54%、4.61%与

15.85%。在图像合成中提升了4.71%、6.22%与19.74%。

基于前两部分的工作，设计了一个基于光照可控图像合成的内容编辑系统，

应用ICISI和INRFI模型的功能对图像进行光照可控合成，并以此来验证其有

效性。本系统使用Python语言和Tkinter在Pytorch框架上进行开发，该系统主

要包括了系统管理、光照可控编辑和图像合成等功能，能够对输入图像进行光

照方向、色温以及反射率的可控编辑，渲染合成新的图像。

关键词：光照可控，反射率编辑，图像合成，感知瓶颈结构，神经辐射场

ABSTRACT

Controllableimagesynthesisisacrucialresearchdirectioninbothcomputer

visionandcomputergraphicsfields.Amongvariouscontrollablesynthesisapproaches,

lighting-controlledimagesynthesisstandsoutasasignificantbranchaimingto

generateimageswithspecificlightingeffectsbypreciselycontrollingillumination

conditions.However,existingmethodsinthisdomainoftensufferfromissuessuchas

inadequatelightingcontrol,blurredtexturesynthesis,loss