一种结合Transformer和CNN的散斑图复原网络.pdfVIP

第１４卷第１期智能计算机与应用２０２４年１月

Ｖｏｌ．１４Ｎｏ．１ＩｎｔｅｌｌｉｇｅｎｔＣｏｍｐｕｔｅｒａｎｄＡｐｐｌｉｃａｔｉｏｎｓＪａｎ．２０２４

－－－

文章编号：２０９５２１６３（２０２４）０１０１４３０４中图分类号：ＴＰ７５１；ＴＰ１８３文献标志码：Ａ

一种结合Ｔｒａｎｓｆｏｒｍｅｒ和ＣＮＮ的散斑图复原网络

沈丽华，戚伯特，杨旭，陈瑞品

（浙江理工大学理学院，杭州３１００１８）

摘要：近年来，深度学习已成功应用于计算成像领域，并取得了显著的成果。目前，实现激光透过散射介质后的图像复原技

术成为热门的研究课题，本文提出了一种包含双编码器的深度学习网络模型Ｔｒａｎｓ＿ＣＮＮ，从散斑图复原目标物图像，该网络

融合了来自Ｔｒａｎｓｆｏｒｍｅｒ编码器和卷积神经网络编码器的信息，并将融合的编码信息传递给解码器获得复原结果，从散斑图中

最大程度地学习全局特征和局部特征，从而更好地从散斑图复原出目标图像。实验结果证明Ｔｒａｎｓ＿ＣＮＮ网络在复原散斑图

像方面具有更好的性能和复原图像质量较好。

关键词：计算成像；图像复原；Ｔｒａｎｓｆｏｒｍｅｒ；卷积神经网络

Ｔｒａｎｓ＿ＣＮＮ：Ａｎｅｔｗｏｒｋｆｏｒｓｐｅｃｋｌｅｐａｔｔｅｒｎｒｅｓｔｏｒａｔｉｏｎｃｏｍｂｉｎｉｎｇ

ＴｒａｎｓｆｏｒｍｅｒａｎｄＣＮＮ

ＳＨＥＮＬｉｈｕａ，ＱＩＢｏｔｅ，ＹＡＮＧＸｕ，ＣＨＥＮＲｕｉｐｉｎ

－

（ＳｃｈｏｏｌｏｆＳｃｉｅｎｃｅ，ＺｈｅｊｉａｎｇＳｃｉＴｅｃｈＵｎｉｖｅｒｓｉｔｙ，Ｈａｎｇｚｈｏｕ３１００１８，Ｃｈｉｎａ）

Ａｂｓｔｒａｃｔ：Ｉｎｒｅｃｅｎｔｙｅａｒｓ，ｄｅｅｐｌｅａｒｎｉｎｇｈａｓｂｅｅｎｓｕｃｃｅｓｓｆｕｌｌｙａｐｐｌｉｅｄｔｏｃｏｍｐｕｔａｔｉｏｎａｌｉｍａｇｉｎｇ，ａｎｄｈａｓａｃｈｉｅｖｅｄｒｅｍａｒｋａｂｌｅ

ｒｅｓｕｌｔｓ．Ａｔｐｒｅｓｅｎｔ，ｉｍａｇｅｒｅｓｔｏｒａｔｉｏｎａｆｔｅｒｐａｓｓｉｎｇｔｈｒｏｕｇｈｓｃａｔｔｅｒｉｎｇｍｅｄｉａｈａｓｂｅｃｏｍｅａｈｏｔｒｅｓｅａｒｃｈｔｏｐｉｃ．Ｉｎｔｈｉｓｐａｐｅｒ，ａｄｅｅｐ

ｌｅａｒｎｉｎｇｎｅｔｗｏｒｋｍｏｄｅｌＴｒａｎｓ＿ＣＮＮｗｉｔｈｄｕａｌｅｎｃｏｄｅｒｓｉｓｐｒｏｐｏｓｅｄｔｏｒｅｃｏｎｓｔｒｕｃｔｔｈｅｔａｒｇｅｔｉｍａｇｅｓｆｒｏｍｔｈｅｓｐｅｃｋｌｅｐａｔｔｅｒｎｓ．Ｔｈｅ

ｎｅｔｗｏｒｋｃｏｍｂｉｎｅｓｔｈｅｉｎｆｏｒｍａｔｉｏｎｆｒｏｍｔｈｅＴｒａｎｓｆｏｒｍｅｒｅｎｃｏｄｅｒａｎｄｔｈｅＣＮＮｅｎｃｏｄｅｒ，ａｎｄｔｒａｎｓｍｉｔｓｔｈｅｅｎｃｏｄｅｄｉｎｆｏｒｍａｔｉｏｎｔｏｔｈｅ

ｄｅｃｏｄｅｒｔｏｏｂｔａｉｎｔｈｅｒｅｓｔｏｒａｔｉｏｎｒｅｓｕｌｔ．Ｔｈｅｐｕｒｐｏｓｅｉｓｔｏｏｂｔａｉｎｔｈｅｃｏｎｔｅｘｔｉｎｆｏｒｍａｔｉｏｎｆｒｏｍｔｈｅｓｐｅｃｋｌｅｐａｔｔｅｒｎｂｙｃｏｍｂｉｎｉｎｇｔｈｅ

ｇｌｏｂａｌｒｅｐｒｅｓｅｎｔａｔｉｏｎｗｉｔｈｔｈｅｌｏｃａｌｒｅｐｒｅｓｅｎｔａｔｉｏｎ，ｉｍｐｒｏｖｅｔｈｅｒｅｃｏｎｓｔｒｕｃｔｉｏｎｏｆｔｈｅｔａｒｇｅｔｉｍａｇｅｆｒｏｍｔｈｅｓｐｅｃｋｌｅｐａｔｔｅｒｎ．Ｔｈｅ

ｅｘｐｅｒ