基于深度学习的虚拟视点修复方法研究.pdfVIP

基于深度学习的虚拟视点修复方法研究

摘要

近年来，随着视频显示技术的提升，人们不再满足于2D影像带来的高清视

觉体验，逐渐转向对3D立体视觉效果的追求。在众多3D显示技术中，自由视

点视频系统（FreeViewpointVideo，FVV）因其无需佩戴辅助设备便可观看

3D显示视频的高便携性而备受关注。但是由于视频传输时的带宽限制，还需要

利用基于深度图像的虚拟视点绘制技术（DepthImageBasedRendering，DIBR）

在系统的接收端利用少量参考视图来绘制其他视点的虚拟视图。然而，DIBR技

术仍有不足之处，其绘制的图像会存在空洞、伪影、重叠等问题。这些问题会

严重降低合成虚拟视图的图像质量，影响用户的主观感知。

目前深度学习技术在计算机视觉领域得到了广泛的应用，为图像修复提供

了新思路，本文研究利用深度学习技术来对合成的虚拟视图进行修复，提高合

成图像的质量。

（1）为了得到高质量的虚拟视点修复图像，提出了基于两阶段的高质量虚

拟视点修复模型。一阶段网络使用多尺度融合的部分卷积进行空洞填补，能更

好联系上下文信息，增强模型对空洞细节的修复能力；二阶段使用端到端的图

像优化模块进行重叠和伪影去除，相较于现有的重叠和伪影去除方式，使用模

型去除能够更加快捷、简便、高效，并且通过残差连接减少网络训练梯度消失

问题，使得训练时更加稳定；同时，二阶段可以优化阶段一中部分卷积产生的

局部色差，两个网络相互协作，提高了合成图像的整体质量。实验结果表明，

该方法与虚拟视点修复流行且有效的算法相比，能够更有效提高图像的修复质

量。在不同数据集下，修复后图像平均PSNR值分别高达31.878dB和33.710dB。

（2）为了更快速得到虚拟视点修复图像，提出了基于模拟掩码的轻量化虚

拟视点修复模型。先对合成图像进行预处理，解决图像中的伪影与裂缝问题；

在训练时使用制作的模拟大空洞数据集，让模型更关注容易产生大空洞的前后

景交融区域的纹理特征，可以更有效处理单视点DIBR合成的大空洞虚拟视点图

像；提出使用轻量化门控卷积进行不规则空洞填补，加快了模型空洞填补的速

度。实验结果表明，提出的基于模拟掩码的轻量化虚拟视点修复模型可以在图

像修复质量不变差的前提下，修复速度得到提升。在不同数据集下，均能得到

分辨率为720P，帧率30FPS以上的虚拟视图影像。

关键词：虚拟视点合成，空洞填补，部分卷积，门控卷积，轻量化网络

ResearchonInpaintingMethodsofVirtualViewpoint

BasedonDeepLearning

Abstract

Inrecentyears,withtheimprovementofvideodisplaytechnology,peopleare

nolongersatisfiedwiththehigh-definitionvisualexperiencebroughtby2Dimages,

andgraduallyturntothepursuitof3Dstereoscopicvisualeffects.Amongnumerous

3Ddisplaytechnologies,theFreeViewpointVideo(FVV)systemhasattracted

attentionduetoitshighportabilityinviewing3Ddisplayvideoswithouttheneed

forauxiliarydevices.However,duetobandwidthlimitationsduringvideo

transmission,itisnecessarytouseDepthImageBasedRendering(DIBR)

technologytodrawvirtualv