基于GAN和VAE融合网络的图像生成技术研究.pdf

摘 要 随着计算机视觉技术的不断发展，图像生成技术已逐渐成为计算机视觉领域的重 要研究课题。变分自编码器（VariationalAuto-Encoder,VAE）和生成对抗网络（Generative AdversarialNetwork,GAN）等自然图像生成模型则为该领域中最为大家所广泛熟悉的 技术。VAE 引入了隐变量推断和对数似然估计，训练过程稳定，但是生成图像缺少细 节刻画，轮廓模糊；GAN 生成的图像真实清晰，但是训练过程易出现模式崩溃问题， 在合成高分辨率图像时表现更为严重。针对以上问题，本文从以下三个方面对变分自 编码器VAE 和生成对抗网络GAN 展开研究。 1. 融合优势互补的VAE 和GAN 两类图像生成模型来提高图像生成技术，将VAE 的编码器、GAN 的生成器和判别器进行串联融合，提出基于GAN 和VAE 的串联融合 TVAE-GAN TandemVAE-GAN,TVAE-GAN VAE 网络 （ ）。用 对输入图像进行编码， 然后将提取到的编码特征作为输入传递给GAN 代替传统噪声，通过GAN 判别器的反 馈信息不断提升生成器生成图像的质量，最终得到高质量的生成图像。实验结果表明， TVAE-GAN 生成的图像更加清晰。 2. 针对TVAE-GAN 网络结构复杂，图像生成时间成本增加，算法收敛速度减缓 的问题，将GAN 的生成器和VAE 的编码器进行混合融合，用编码器和特征值函数替 代TVAE-GAN 中的判别器，同时加入相似性度量函数，提出基于GAN 和VAE 的混合 MVAE-GAN MixedVAE-GAN,MVAEGAN MNIST 融合网络 （ ）。在 手写体数字数据 集和CelebA 人脸图像数据集的图像生成结果表明，MVAE-GAN 生成图像的生成质量 较高，且较TVAE-GAN 减少了时间开销，加快了算法收敛速度。 3. 为了进一步验证MVAE-GAN 在图像生成方面的实际应用价值，将MVAE-GAN 应用于人脸马赛克去除问题，取得了较好的马赛克去除效果，研究成果有助于解决图 像采集与数据缺陷等问题，满足人们对于特定图像数据的需求。 关键字：图像生成 变分自编码器 生成对抗网络 融合网络 马赛克去除 I ABSTRACT With the continuous development of computer vision technology, image generation technology hasgradually become an important research topic in the field of computer vision. Natural image generation models such as Variational Auto - Encoder(VAE) and Generative Adversarial Network(GAN) are the most familiar technologies in this field.VAE introduces implicit variable inference and log likelihood estimation, the training process is stable, but the generated image is lack of detail description, and the contour is fuzzy; the image generatedby Gan isreal and clear,but the trainingprocess isprone tomode collapse,which ismore seriousin the synthesisofhigh-resolution image.In view ofthe aboveproblem