结合梯度指导和局部增强Transformer的图像去模糊网络.pdfVIP

小型微型计算机系统２０２４年１月第１期

ＤＯＩ:１０.２０００９/ｊ.ｃｎｋｉ.２１￣１１０６/ＴＰ.２０２２￣０３４４

ＪｏｕｒｎａｌｏｆＣｈｉｎｅｓｅＣｏｍｐｕｔｅｒＳｙｓｔｅｍｓＶｏｌ.４５Ｎｏ.１２０２４

结合梯度指导和局部增强Ｔｒａｎｓｆｏｒｍｅｒ的图像去模糊网络

杨浩ꎬ周冬明ꎬ赵倩

(云南大学信息学院ꎬ昆明６５０５０４)

Ｅ￣ｍａｉｌ:ｚｈｏｕｄｍ＠ｙｎｕ.ｅｄｕ.ｃｎ

摘要:模糊图像不仅影响人类感知还会影响后续计算机视觉任务的性能ꎬ例如自动驾驶系统和户外监控系统中的视觉算法.

针对以往基于深度学习的去模糊方法感受野较小ꎬ不能动态适应输入内容和重建图像细节信息困难等问题ꎬ提出了一种基于

Ｔｒａｎｓｆｏｒｍｅｒ的图像去模糊网络.网络包含两个分支:图像内容分支和梯度分支ꎬ每条分支均以具有窗口机制的Ｔｒａｎｓｆｏｒｍｅｒ作为

主干ꎬ通过梯度分支的信息指导图像去模糊重建ꎬ能够更好地恢复图像的边缘和纹理.同时ꎬ为了充分利用图像的内容信息和梯

度信息ꎬ本文还设计了一个交互式融合模块来有效融合特征信息.此外ꎬ本文通过在Ｔｒａｎｓｆｏｒｍｅｒ块的自注意力机制和前馈网络

中引入卷积来解决Ｔｒａｎｓｆｏｒｍｅｒ对局部信息建模不足的问题.在合成数据集和真实数据集上的大量实验结果表明ꎬ提出的算法

能有效去除复杂模糊并且恢复清晰的细节ꎬ在定量指标和视觉效果上均优于目前的主流去模糊算法.

关键词:图像恢复ꎻ图像去模糊ꎻＴｒａｎｓｆｏｒｍｅｒꎻ自注意力机制ꎻ梯度指导ꎻ神经网络

中图分类号:ＴＰ３９１文献标识码:Ａ文章编号:１０００￣１２２０(２０２４)０１￣０２１６￣０８

ＩｍａｇｅＤｅｂｌｕｒｒｉｎｇＭｏｄｅｌＣｏｍｂｉｎｉｎｇＧｒａｄｉｅｎｔＧｕｉｄａｎｃｅａｎｄＬｏｃａｌＥｎｈａｎｃｅｍｅｎｔＴｒａｎｓｆｏｒｍｅｒ

ＹＡＮＧＨａｏꎬＺＨＯＵＤｏｎｇｍｉｎｇꎬＺＨＡＯＱｉａｎ

(ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅａｎｄＥｎｇｉｎｅｅｒｉｎｇꎬＹｕｎｎａｎＵｎｉｖｅｒｓｉｔｙꎬＫｕｎｍｉｎｇ６５０５０４ꎬＣｈｉｎａ)

Ａｂｓｔｒａｃｔ:Ｂｌｕｒｒｅｄｉｍａｇｅｓｎｏｔｏｎｌｙａｆｆｅｃｔｈｕｍａｎｐｅｒｃｅｐｔｉｏｎｂｕｔａｌｓｏｔｈｅｐｅｒｆｏｒｍａｎｃｅｏｆｓｕｂｓｅｑｕｅｎｔｃｏｍｐｕｔｅｒｖｉｓｉｏｎｔａｓｋｓꎬｓｕｃｈａｓｖｉ￣

ｓｉｏｎａｌｇｏｒｉｔｈｍｓｉｎａｕｔｏｎｏｍｏｕｓｄｒｉｖｉｎｇｓｙｓｔｅｍｓａｎｄｏｕｔｄｏｏｒｓｕｒｖｅｉｌｌａｎｃｅｓｙｓｔｅｍｓ.Ｔｏａｄｄｒｅｓｓｔｈｅｉｓｓｕｅｓｔｈａｔｐｒｅｖｉｏｕｓｄｅｅｐｌｅａｒｎｉｎｇ￣

ｂａｓｅｄｄｅｂｌｕｒｒｉｎｇｍｅｔｈｏｄｓｗｉｔｈｓｍａｌｌｒｅｃｅｐｔｉｖｅｆｉｅｌｄｓꎬｃａｎｎｏｔｄｙｎａｍｉｃａｌｌｙａｄａｐｔｔｏｔｈｅｉｎｐｕｔｃｏｎｔｅｎｔａｎｄｈａｖｅｄｉｆｆｉｃｕｌｔｉｅｓｉｎｒｅｃｏｎｓｔｒｕｃ￣

ｔｉｎｇｉｍａｇｅｄｅｔａｉｌｉｎｆｏｒｍａｔｉｏｎꎬａＴｒａｎｓｆｏｒｍｅｒ￣ｂａｓｅｄｉｍａｇｅｄｅｂｌｕｒｒｉｎｇｎｅｔｗｏｒｋｉｓｐｒｏｐｏｓｅｄ.Ｔｈｅｎｅｔｗｏｒｋｃｏｎｔａｉｎｓｔｗｏｂｒａｎｃｈｅｓ:ｔｈｅｉｍ￣

ａｇｅｃｏｎｔｅｎｔｂｒａｎｃｈａｎｄｔｈｅｇｒａｄｉｅｎｔｂｒａｎｃｈꎬｅａｃｈｂｒａｎｃｈｔａｋｅｓｗｉｎｄｏｗｓ￣ｂａｓｅｄＴｒａｎｓｆｏｒｍｅｒａｓｔｈｅｂａｃｋｂｏｎｅꎬａｎｄｇｕｉｄｅｓｔｈｅｉｍａｇｅｄｅ￣

ｂｌｕｒｒｉｎｇｒｅｃｏｎｓｔｒｕｃｔｉｏｎｂｙｔｈｅｉｎｆｏｒｍａｔｉｏｎｏｆｔｈｅｇｒａｄｉｅｎｔｂｒａｎｃｈꎬｗｈｉｃｈｃａｎｂｅｔｔｅｒｒｅｃｏｖｅｒｔｈｅｅｄｇｅｓａｎｄｔｅｘｔｕｒｅｓｏｆｔｈｅｉｍａｇｅ.Ｍｅａｎ￣

ｗｈｉｌｅꎬｉｎｏｒｄｅｒｔｏｍａｋｅｆｕｌｌｕｓｅｏｆｔｈｅｃｏｎｔｅｎｔｄｅｔａｉｌｓａｎｄｇｒａｄｉｅｎｔｉｎｆｏｒｍａｔｉｏｎｏｆｔｈｅｉｍａｇｅꎬｔｈｉｓｐａｐｅｒａｌｓｏｄ