基于生成对抗网络的水下目标图像转换方法研究.pdfVIP

基于生成对抗网络的水下目标图像转换方法研究

摘要

近年来，图像作为深度学习中计算机视觉的重要研究载体，变得越来越重要。水下

目标图像信息的有效利用无论在军事上还是民用上都有重要的意义，但一些类别的水下

目标图像由于无法大量拍摄或是获取难度较大，影响其后续的处理和应用，如潜艇图像、

沉船图像以及坠机图像等。本文主要研究基于生成对抗网络（GenerativeAdversarial

Networks,GAN）的水下目标图像转换方法，主要的工作如下：

（1）针对图像转换模型对于特征提取能力不足以及训练时的模式崩溃问题，提出

基于注意力机制的多尺度水下图像转换方法。首先，将单一尺度的图像转换模型扩展到

多个尺度中，使图像生成从低尺度逐渐提升到高尺度，在多个尺度中，低尺度的图像转

换模型生成水下图像的全局结构，高尺度的图像转换模型生成水下图像的局部细节。其

次，每个尺度的生成器使用通道注意力机制增强特征提取能力，使用卷积块注意力机制

增强判别器的判别能力。在此基础上，添加高斯噪声解决训练期间产生的模式崩溃问题。

通过实验结果对比分析PNSR和SSIM评价指标，验证所提出方法具有更好的图像转换

效果。

（2）在基于注意力机制的多尺度水下图像转换方法基础上，针对图像转换模型生

成水下目标图像多样性较差问题，提出基于风格无关判别器的注意力机制多尺度图像转

换方法。首先，针对GAN中判别器对图像风格更加敏感的问题，利用实例级和向量级

的风格无关方法改进判别网络，使判别器对于内容相同，风格不同的图像判别结果尽可

能相同。其次，在实例级风格无关判别器的训练中引入全变分损失，利用梯度下降法对

图像进行平滑处理，解决实例级风格无关判别器生成图像的像素之间差异过大问题。通

过水下目标图像的生成结果和消融实验，验证本文提出的基于风格无关判别器的注意力

机制多尺度图像转换方法，提升了生成水下目标图像的多样性，并保留更多源域图像的

细节。并进一步通过对比实验验证本文提出方法具有一定的有效性。

关键词：生成对抗网络；图像转换；注意力机制；风格无关判别器；水下目标图像

基于生成对抗网络的水下目标图像转换方法研究

Abstract

Inrecentyears,asasignificantresearchcarrierforcomputervisionindeeplearning,

imageshavebecomeincreasinglyimportant.Theeffectiveutilizationofunderwatertarget

imageinformationisofgreatsignificanceinbothmilitaryandcivilianapplications.However,

somecategoriesofunderwatertargetimagesmayfaceissuessuchasinabilitytocapturealarge

numberofimagesordifficultyinobtainingthem.Theseissuesaffectitssubsequentprocessing

andapplication,suchassubmarineimages,sunkenshipimages,andcrashimages.Thisarticle

mainlystudiestheunderwatertargetimagetranslationmethodbasedonGenerativeAdversarial

Networks(GAN).Themainworkisasfollows:

1.Amulti-scaleunderwaterimagetranslationmethodbasedonattentionmechanismis

proposedtoaddresstheinsufficientf