基于生成对抗网络的细粒度图像生成研究.pdfVIP

基于生成对抗网络的细粒度图像生成研究

摘要

细粒度图像生成相比于一般的图像生成算法，生成图像不仅要真实合理，更需要包

含丰富且与需求一致的细粒度信息，目前已成为计算机视觉领域重要的前沿研究方向，

具有很大的挑战性和广泛的应用价值。近年来，随着深度学习的快速发展，特别是生成

对抗网络的提出，细粒度图像生成研究取得了显著的进展。尽管如此，以草图或文本为

输入的细粒度图像生成以及无监督的细粒度图像生成研究仍存在一些不足，使得生成图

像的质量不够理想，具体表现在生成细粒度特征的能力不足、与给定输入信息的一致性

不足以及生成图像的真实性不足。因此，研究更为有效的细粒度图像生成算法具有重要

的理论价值和现实意义。本论文将围绕细粒度图像生成中迫切需要解决的问题展开研究，

主要内容包括草图到图像生成、文本到图像生成和无监督图像生成。为此，将以生成对

抗网络为主要技术手段，在模型结构、损失函数和训练策略上提出一系列改进措施，使

得细粒度图像生成算法的性能得到有效提高。论文的主要研究工作包括以下三个方面。

第一，针对草图到图像生成中存在细粒度特征生成能力和保持跨图像域语义信息一

致性能力较差的问题，提出一种基于跨域融合生成对抗网络的细粒度草图到图像生成算

法。首先，设计一个多尺度跨域特征融合生成器。其中多尺度融合模块和门融合模块利

用具有多尺度信息的草图域特征来增强图像域特征，提高细粒度图像特征合成能力。其

次，设计一个基于Transformer的判别器来提取草图和图像的全局特征，实现更好地草

图与生成图像在全局上的对齐。实验结果表明，该算法能更好地生成与输入草图具有良

好一致性、细节信息更加全面的图像。

第二，针对文本到图像生成中存在的生成图像质量较差和生成图像与输入文本间跨

模态语义信息一致性不足的问题，提出一种基于词自更新对比对抗网络的细粒度文本到

图像生成算法。首先，设计一个词自更新双注意力生成器。其中词自更新模块通过动态

地为重要词向量分配权重，使生成器能更好地利用表征细粒度信息的重要单词。其次，

设计一个基于对比学习框架的多分支判别器，并构造两个对比损失函数实现图像文本对

在全局和局部上的语义信息一致性。实验结果表明，该算法能更好地生成与输入文本信

息一致的细粒度图像。

第三，针对无监督细粒度图像生成中存在的背景与前景目标不和谐以及生成图像真

实性和多样性不足的问题，提出一种基于模型引导生成对抗网络的无监督细粒度图像生

成算法。首先，设计并预训练一个轻量且有效的反向背景图像生成器，其作为教师网络

哈尔滨工程大学博士学位论文

基于知识蒸馏策略来指导正向背景生成阶段的训练。其次，设计一个基于注意力机制的

前景生成器，通过探索细粒度隐编码和图像特征之间的相关性，使网络能够自动关注与

不同细粒度类别相关的细节信息。实验结果表明，该算法能更好地生成物体形状准确、

细粒度信息丰富且多样性好的逼真图像。

关键词：细粒度图像生成；生成对抗网络；注意力机制；多尺度特征融合；跨模态对比

判别器

基于生成对抗网络的细粒度图像生成研究

ABSTRACT

Comparedwiththegeneralimagegenerationalgorithm,fine-grainedimagegeneration

shouldnotonlymakethegeneratedimagerealisticandreasonable,butalsocontainrichand

consistentfine-grainedinformation.Fine-grainedimagegenerationhasbecomeanimportant

frontierresearchdirectioninthefieldofcomputervision,whichhasgreatchallengesand

extensiveapplicationvalue.Inrecentyears,withtherapiddevelopmentofdeep