基于长短时记忆网络的H.266帧内预测算法优化.pdfVIP

基于长短时记忆网络的H.266帧内预测算法优化 摘 要 随着高清、超高清视频应用的快速推广，视频传输与存储所需要的数据量越 来越大。在即将发布的H.266编码标准中应用了大量新工具，大幅度提高了视频 的压缩率，但该标准仍然存在较大的提升空间。考虑到深度学习在海量数据表达 Long Short-Term Memory 方面的巨大优势，论文重点研究了长短时记忆 （ ，简 称LSTM）网络用于优化H.266帧内预测过程的问题，提出了两种改进的帧内预 测优化算法。主要工作和创新点如下： 1 H.266 （）针对 编码器帧内预测过程存在较大预测残差的问题，论文提出了 一种基于LSTM网络的帧内模式优化算法。对于角度预测中的水平模式和垂直模 式，论文训练了一种LSTM网络模型，利用该模型对帧内预测残差进行二次预测， 补偿标准模型中帧内模式的预测结果，减小最终的预测残差。论文对LSTM网络 的深度与尺寸进行了讨论，利用统计方式优化了网络参数。实验结果表明，与 H.266标准参考模型VTM 2.0相比，论文提出的方案可以平均降低0.34%的 BD-rate。 （2）针对尺寸较大的编码块中，标准模型对远离参考线的像素预测能力不 佳的问题，论文提出了一种基于LSTM网络的多参考线帧内预测改进算法，通过 增加当前编码块的其他邻近参考线，将基于单参考线的预测方式改进为基于多参 考线的预测方式，为帧内预测提供了更丰富的上下文，并通过LSTM网络对远离 参考线的预测块中的右下方区域的残差进行了补偿，提高了帧内预测的精度。实 验结果表明，与H.266标准参考模型VTM 2.0相比，该方案平均可以降低0.18%的 BD-rate。 关键词：H.266/VVC 标准，深度学习，帧内预测，LSTM 网络，残差补偿 I 目 录 摘 要I ABSTRACT II 第一章 绪论1 1.1 研究背景1 1.2 研究现状1 1.3 论文研究内容和创新点4 1.4 论文章节安排4 第二章 H.266帧内预测以及LSTM神经网络简介6 2.1H.266编码概述6 2.1.1H.266编码标准简介6 2.1.2H.266编码框架6 2.1.3 嵌套的多类型树划分结构7 2.2H.266 帧内编码9 2.2.1 67 9 帧内编码的 种预测模式 2.2.2 最可能模式列表的生成10 2.2.3H.266 的新预测工具11 2.3LSTM 网络的关键技术15 2.3.1LSTM 网络的特性15 2.3.2LSTM 网络的工作原理17 2.4 本文的算法框架18 2.5 本章小结19 第三章 基于长短时记忆网络的H.266编码帧内预测优化算法20 3.1H.266 帧内预测过程分析和算法的思想20 3.2 算法设计22 3.2.1 算法框架与网络的结构22 3.2.2 输入数据的构造25 3.3 网络参数的选择27 3.3.1 网络深度27 3.3.2 隐藏层尺寸28 3.4 实验结果28 3.4.1 训练参数28 3.4.2 编码参数29 3.4.3 视频编码设置29 3.4.4 实验结果分析30 3.5 本章小结35 第四章 基于长短时记忆网络的多参考线帧内预测改进算法36 4.1 引入多参考线预测的原因36 4.1.1 多参考线预测的背景36 4.1.2 多参考线预测的计算37 4.1.3CU 中样点与参考像素的相关性39 4.2 算法思路40 4.3 算法设计40 4.4 网络参数的选择42