复数生成式对抗网络的构造研究.pdfVIP

摘要 摘要 近年来，以实数卷积神经网络（Convolution Neural Network，CNN ）为代表的判别 式模型取得了很多突破性的进展，最近有研究人员将卷积神经网络从实数域扩展到复数 域提出了复数卷积神经网络，得到了比实数卷积神经网络更好的性能；另一方面，以实 数生成式对抗网络（Generative Adversarial Networks ，GAN ）为代表的生成式模型也得 到了国内外研究人员广泛关注。GAN 在结构上是由一个生成器和一个判别器组成。目 前大部分研究人员用实数卷积神经网络构造生成器和判别器。本文主要探索了用复数卷 积神经网络作为 GAN 的判别器，并且不断优化 GAN 的生成器以减轻生成器和判别器 参数不匹配的问题，从而构造出性能更好的复数生成式对抗网络。 本文的主要研究内容如下： （1 ）复数生成式对抗网络的构建。本文在深度卷积生成式对抗网络（Deep Convolutional Generative Adversarial Networks ，DCGAN ）的基础上，构造了第I 种复数 生成式对抗网络；在条件生成式对抗网络（Conditional Generative Adversarial Nets ，CGAN ） 的基础上，构造了第II 和第III 两种类型的复数生成式对抗网络。首先，我们将DCGAN 中的生成器保持不变，将判别器中的VGG 网络替换成复数深度卷积残差网络，该复数 深度卷积残差网络是介于宽浅型与深窄型之间的中间型的模型结构并且以ℂReLU作为 复值激活函数。通过这种方式得到的网络我们称为复数生成式对抗网络I 型；其次，针 对复数生成式对抗网络I 型中出现的生成器与判别器不匹配和DCGAN 中判别器建模太 过自由的问题，本文提出将 Inception+Residual 结构的残差单元代替普通实数卷积神经 网络用于CGAN 网络生成器的构造，我们称之为复数生成式对抗网络II 型；最后，为 了进一步提高图像生成的质量，我们借鉴自然语言处理领域中的视觉问答（Visual Question Answering，VQA ）系统的条件批量归一化（Conditional Batch Normalization， CBN ）思想，提出了类别条件归一化方法（Categorical Conditional Batch Normalization ， Cat_BN ），使用Cat_BN 替换标准的批量归一化（Batch Normalization，BN ），以Cat_BN 模块和残差单元为基础构建了GAN 的生成器，判别器与复数生成式对抗网络II 型相同， 构建的网络称为复数生成式对抗网络 III 型。通过与实数生成式对抗网络的对比实验， 验证了提出的复数生成式对抗网络的有效性。 （2 ）带自注意力机制的复数生成式对抗网络的构建。针对GAN 在多类别数据集的 某些类别上难以建模的问题，将自注意力机制应用在GAN 的生成器和判别器中，构建 了带自注意力机制的复数生成式对抗网络。实验结果表明，在GAN 中添加自注意力机 制是有效的，并且将自注意力层应用在高级特征图的位置效果更好。随后设计了用相同 参数量的残差模块替换自注意力模块的实验，结果验证了在GAN 中添加自注意力机制 带来的性能上的提升不仅仅是由模型深度和容量的增加所导致。针对GAN 训练不稳定 的问题，将谱归一化（Spectral Normalization ，BN ）和双时标更新规则（Two Time-Scale Update Rule ，TTUR ）两种稳定训练的技术应用于提出的带自注意力机制的复数生成式 对抗网络中进一步提高了图像生成的性能。 I 摘要 关键词：复数神经网络，生成式对抗网络，类别条件批量归一化，自注意力机制 II Abstract