基于条件生成对抗网络的图像特征解混与多属性编辑研究 (1).pdfVIP

华东师范大学硕士学位论文 摘 要 图像生成模型的学习是计算机视觉领域的一个关键问题。模型旨在拟合图 像数据的分布，使其能够生成不在数据集中但符合分布的新样本。由于图像分布 处于高维空间且十分复杂，该任务具有一定难度。随着深度学习的发展，相继出 现了一系列深度生成模型，其中生成对抗网络（Generative Adversarial Network， GAN）和变分自编码器（Variational Auto­Encoder，VAE）是两种广泛使用的方 法。为控制生成的图像符合指定条件，可在模型中引入额外的条件。本文针对条 件图像生成任务，从增强生成图质量和多样性方面入手，对于条件是类别标签和 图像的情况分别展开研究。本文的研究内容及创新点如下： （1）对于条件是类别标签的情况，在条件变分自编码器（Conditional Varia­ tionalAuto­Encoder，CVAE）和条件生成对抗网络（ConditionalGenerativeAdver­ sarial Network，CGAN）的混合模型CVAE­GAN 的基础上，提出使用两个独立 的编码器将特征空间解混为标签相关和无关两个部分。为解决VAE 中的后验崩 溃问题，在标签相关特征上引入高斯混合分布代替原来的标准高斯分布作为先 验，其中每个高斯项对应一个类别。高斯项的参数由标签监督学习而得。实验在 人脸识别数据集和普适物体数据集上进行，证明了本文方法在图像质量和多样 性上的提升。 （2）对于条件是图像的情况，着眼于人脸多属性编辑任务，基于CGAN 结 构提出使用两个解码器逐步生成并改善属性编辑结果。第一个解码器在每个中 间层输出掩码和残差特征用于改善第二个解码器的特征。同时，为精确控制属性 编辑程度，设计了两阶段训练策略。在第一阶段，输入的二值的属性域标签用于 提供转换方向。在第二阶段，输入不仅反映方向，还包含转换程度，并对生成的 属性插值域图像提出了域一致性损失函数和源域对抗损失函数。在人脸属性数 据集上进行的实验验证了本文方法的有效性。 关键词: 深度学习，变分自编码器，生成对抗网络，图像生成，人脸属性编辑 i 华东师范大学硕士学位论文 ABSTRACT Learningagenerativemodelfortheimageisacriticalproblemincomputervision. The model aims to capture the image data distribution for generating new samples. However,sinceimagesinthehighdimensionspaceoftenlieinacomplexmanifold,it’s a challenging task. With the development of deep learning, a series of deep generative models have emerged. Generative Adversarial Network (GAN) and Variational Auto­ Encoder (VAE) are two of the most popular methods. To generate images based on a certaincondition,theconditioncanbeintroducedintothemodel. Thispaperdealswith conditionalimagegenerationtaskwhentheconditionisaclasslabeloranimage,with the goal of enhancing the quality and diversity of generated images. The contents and contributionsareasfollows. 1. When the condition is a class label, we propose to disentangle the latent space into label relevant