基于Transformer的图像去噪算法研究.pdfVIP

摘要

图像去噪技术一直是计算机领域研究的热点问题，因其能有效去除数字图像在记录、传

播、获取等过程中引入的噪声，提升图像质量，被广泛应用于医学、遥感、农业、夜间拍摄

等领域。图像去噪技术发展至今，基于深度学习的去噪算法显著提高了去噪性能，成为图像

去噪领域的主流算法。近期，随着Transformer被应用于图像去噪，基于Transformer的去噪

算法超越深度学习算法，取得了最佳的去噪效果。但目前基于Transformer的去噪算法在全局

特征提取方面具有一定局限性，局部特征提取能力欠佳，同时相比于深度学习方法计算时间

过长。因此针对上述问题，本文基于Transformer从网络框架以及注意力机制等方面展开研究

并构造算法，能进一步提升网络去噪效果，减少网络计算时间。具体研究内容如下：

1TransformerSwinTransformer

（）提出了一种跨尺度特征融合去噪网络。首先针对中

窗口自注意机制带来的全局自注意局限性问题，提出多尺度框架，将Transformer模块提取的

多尺度特征跨尺度进行融合。其次，引入可分离卷积模块，提高Transformer的局部表示能力。

SwinTransformerCSformerPSNR0.03dB

大量实验证明，相较于传统，在去噪指标取得最大

提升的同时，单幅图片减少了84.5%~97.4%的计算时间。

2Transformer

（）提出了一种动态多尺度去噪网络。首先一方面，针对窗口自注意机制

带来的全局自注意局限问题，本章通过融合不同窗口尺寸的窗口自注意模块分支引入多尺度

思想。另一方面，因图像间差异性较大，对不同尺度特征的简单融合使得网络泛化性不强，

因此本章引入通道注意模块学习图像全局通道特征，动态分配权重给不同尺度注意模块。实

RestormerDMformerPSNR

验证明，相较于目前最优的去噪算法，在高等级噪声下去噪指标

取得了最大0.14dB的领先，能有效减少图像伪影与纹理缺失。

3TransformerTransformer

（）提出一种跨尺度特征融合通道注意去噪网络。自注意模块是

中的核心模块，能提取空间上的全局特征，但在图像通道间使用共享权重，未能有效学习特

征通道间关系。针对上述问题，本文提出一种基于通道注意Transformer的跨尺度特征融合网

络。一方面，引入通道注意模块，将学习到的图像通道特征融入特征图中进行后续学习。另

一方面，使用CSformer中提出的跨尺度特征融合网络引入多尺度思想。相关实验证明，相比

于CSformer算法，CSCAformer在计算时间接近的同时，取得了去噪指标PSNR值

0.01dB~0.03dB的性能提升。

关键词图像去噪，卷积神经网络，:Transformer，多尺度，注意力机制

I

Abstract

Intodaysintelligentsociety,digitalimagesarewidelyusedandareanimportantlinkforhuman

interactionandhuman-computerinteraction.However,inproductionandlife,imageswillbe

affectedbydifferent