基于深度学习的端到端智能图像压缩研究.pdfVIP

杭州电子科技大学硕士学位论文

摘要

随着互联网的快速发展，多媒体数据如图像/视频数据呈爆炸性增长，对图像/视频压缩技

术有更高的性能要求。目前，基于深度学习的图像/视频压缩技术受到广泛的关注。研究人员

利用神经网络构建端到端的图像/视频压缩新范式以突破传统编解码框架的性能约束。针对目

前端到端图像压缩编码方案中的三个问题：主干网络提取紧凑特征能力不足，码率估计不精

准，以及训练阶段与推理阶段量化器形式不匹配导致量化误差问题，本文提出以下优化方法：

1、针对主干网络提取紧凑特征能力不足：提出使用ACAB（AsymetrycConvolution

AttentionBlock）模块进行紧凑特征提取。其中，ACAB模块由非对称卷积块，1x1卷积核，

混合注意力模块组成。非对称卷积块包含三个卷积分支，通过增加额外分支和优化卷积核内

部权重增强提取紧凑特征能力。混合注意力模块由通道注意力模块和空间注意力模块组成，

根据全局信息生成潜在表示的通道权重向量和空域注意力图，优化编解码网络提取紧凑特征

能力。

2、根据图像内容结构相关性存在于邻域和非邻域这一特性，本文构建并行条件上下文模

块捕获图像全局域相关性，进一步消除潜在表示中的空域冗余，构建更精准的熵模型，提高

熵编码性能。除此以外，并行结构有利于减少条件上下文的时间复杂度，保证性能下界。

3、由于量化不可微属性导致模型在训练和测试阶段量化形式的不匹配。本文提出一种

Tiki-Taka的训练方式用于降低由量化形式不匹配导致的性能误差。采用多阶段的训练方式循

环切换量化器形式并且冻结对应编解码码端的网络模块，使得解码端模块接收正确的量化系

数进行更精准的图像重构。

本文主要研究了基于神经网络的端到端图像压缩的优化方案。实验表明，所提出的优化

方案在Kodak数据集上分别节省了4.74%，1.08%，3.32%的BD-Rate，整体方案节省了7.33%

的BD-Rate。

关键词：端到端，非对称卷积，注意力机制，邻域/全局域上下文，Tiki-Taka训练

杭州电子科技大学硕士学位论文

ABSTRACT

WiththerapiddevelopmentoftheInternet,multimediadatasuchasimage/videodatahas

exploded,andtherearehigherperformancerequirementsforimage/videocompressiontechnology.

Atpresent,image/videocompressiontechnologiesbasedondeeplearninghavereceived

widespreadattention.Researchersbuildanovalend-to-endimage/videocompressionframework

withneuralnetworkstobreakthroughtheperformanceconstraintsoftraditionalcodecframeworks.

Inviewofthethreeproblemsinthecurrentend-to-endimagecompressioncodingscheme:

insufficientabilityofthebackbonenetworktoextractcompactfeatures,inaccuratebiterate

estimation,andquantizationerrorscausedbythemismatchofthequantizerinthetrainingphase

andtheinferencephase,thispaperproposesthefollowingoptimizationmethods:

1.Toaddressthelackofcompactfeatureextractioncapabilityofthebackbonenetwork,the