基于深度学习的3D-HEVC深度图帧内编码快速算法研究.pdfVIP

基于深度学习的3D-HEVC深度图帧内编码快速算法研究

摘要

近年来，随着多媒体应用以及立体显示技术的蓬勃发展，3D视频开始逐渐

活跃于人们的生活中。为了满足影视娱乐、科学教育、医疗等领域对3D视频的

全新需求，在新一代高效视频编码标准HEVC的基础上，新制定了3D-HEVC标

准，它采用了多视点加深度图的输入格式。其中，深度图具有尖锐的边缘信息和

大面积的平坦区域，可以与纹理图进行虚拟视点的合成，实现3D视频的高效压

缩。为此在3D-HEVC标准中开发了许多新的深度图编码技术，但也导致计算复

杂度激增。因此，降低深度图编码的复杂度对3D视频的发展具有重要的实际应

用价值。本文主要针对复杂度占比较高的编码单元划分和预测模式决策进行了优

化，本文的主要贡献如下：

（1）针对深度图中编码单元划分的复杂过程，提出了一种基于Swin-

Transformer的深度图编码单元快速划分算法，规避了冗余的率失真代价计算，显

著降低了3D-HEVC深度图帧内编码时间。首先，提出了一种名为Swin-CNN的

混合网络，它利用了Swin-Transformer在提取全局信息方面的优势和卷积神经网

络在关注局部信息方面的优点，可以准确预测深度图帧内编码中的编码树单元划

分结构。此外，还构建了一个大规模深度图数据集来训练Swin-CNN。最后，提

出了一种基于Swin-CNN的深度划分预测方案来代替编码树单元的四叉树划分搜

索过程。

（2）针对深度图中预测模式决策过程带来的计算冗余问题，提出了一种基

于全连接神经网络的预测模式快速决策算法，减少了冗余的预测模式数目，跳过

了不必要的深度建模模式计算，有效降低了3D-HEVC的编码时间。首先，利用

Roberts算子和相邻预测单元，提取与当前编码的预测单元空间相关性和边缘相关

性强的多个数据作为特征，以及最优预测模式作为标签，使得全连接神经网络得

到充分训练。其次，将训练后的网络预测模型嵌入测试模型HTM-16.0中，对预

测模式进行分类，并根据类别重新建立候选模式列表，同时判断是否跳过深度建

模模式的计算。除此之外，还将编码单元快速划分算法与预测模式快速决策算法

进行融合以达到复杂度降低最大化。

关键词：3D-HEVC，编码单元，预测模式，深度学习，Transformer

ResearchonFastAlgorithmfor3D-HEVCDepthIntra

CodingBasedonDeepLearning

ABSTRACT

Inrecentyears,withthevigorousdevelopmentofmultimediaapplicationsand

three-dimensionaldisplaytechnology,3Dvideoshavegraduallybecomeactivein

peopleslives.Inordertomeetthenewdemandsfor3Dvideosinfilmandtelevision

entertainment,scientificeducation,medicalandotherfields,the3D-HEVCstandard

wasnewlyformulatedbasedonthenewgenerationofhigh-efficiencyvideocoding

standardHEVC,whichusesamulti-viewpointplusdepthmapinputformat.Among

them,thedepthmaphassharpedge