面向深度图的端到端编码技术研究.pdfVIP

摘要

随着3D电影、虚拟现实和增强现实等技术的飞速发展，3D视频数据量呈

现爆发式增长，对存储和传输系统提出了巨大的挑战。作为3D视频的重要组成

部分，深度视频记录了场景中物体的深度信息，在3D多媒体应用中具有重要的

作用。因此，研究深度图编码方法具有重要意义和应用价值。近年来，随着人工

智能技术的兴起，深度学习在图像和视频处理领域取得了显著的进展，为深度图

编码提供了新思路。本文借助于深度学习技术，探索深度图与对应彩色图之间的

结构相似性和语义相似性，开展了面向深度图的端到端编码技术研究。

本文提出了一种基于彩色特征引导的端到端深度图编码方法，通过分析深度

图与对应的彩色图之间的结构相似性和语义相似性，设计彩色引导的端到端深度

图编码机制，提取彩色特征以引导深度图编码。首先，提出了彩色特征引导的变

换模块，利用彩色图编码过程中的彩色特征引导深度图的分析变换和合成变换，

以降低深度图的数据冗余。然后，设计了彩色特征引导的条件熵模型，从彩色图

量化的潜在表示中提取彩色先验，为熵模型提供条件信息，从而提升熵模型概率

估计的准确性。实验结果表明，所提方法取得了与目前先进的深度图编码方法可

比的编码性能。

本文进一步提出了一种基于深度估计的端到端深度图编码方法。考虑到彩色

特征和深度特征之间存在一定的域差异，本文借助深度估计技术，拉近彩色特征

与深度特征之间的距离，以获得与深度特征相关性更强的条件上下文，从而引导

深度图编码。首先，设计了一个基于U-Net的深度估计模块，学习从彩色图到深

度图的映射关系，以从彩色图中获取更贴近深度特征的条件上下文。然后，提出

了深度估计引导的分析变换和合成变换结构，将条件上下文作为先验信息降低深

度图的编码冗余。最后，采用率失真-边缘联合损失函数，通过约束边缘区域的重

建结果，获取更高质量的重建深度图。实验结果表明，所提方法有效提升了深度

图的编码效率。

关键词：端到端深度图编码，深度-彩色相关性，彩色特征引导，深度估计，3D-

HEVC

ABSTRACT

Withtherapiddevelopmentoftechnologiessuchas3Dcinema,virtualrealityand

augmentedreality,theamountof3Dvideodatahasincreasedexplosively,whichbrings

hugechallengestothetransmissionandstorageof3Dvideo.Asoneoftheimportant

componentsof3Dvideo,depthvideorecordsthegeometricinformationofobjectsin

thescene,andplaysaimportantrolein3Dmultimediaapplications.Therefore,

developingefficientdepthmapcompressionmethodshasimportantsignificanceand

applicationvalue.Inrecentyears,withtheriseofartificialintelligencetechnology,

deeplearninghasmadesignificantprogressinimageandvideoprocessing,which

providingnewideasfordepthmapcompression.Inthisthesis,takingadvantageofdeep

learning,theend-to-enddepthmapcodingareresearchedbyexploringstructural

similarityandsemanticsimilaritybetweendepthmapandcorrespondingtextureimage.