基于生成对抗网络的图像到图像生成研究.pdfVIP

摘要

随着数据规模的增长和算力的不断提高，神经网络模型能够有效地学习到数据

的分布，因此深度学习的应用越来越广泛，也加速了计算机视觉与传统行业的结合。

然而深度学习网络模型越来越复杂，网络参数多；另外在特殊场景下计算机视觉应

用任务存在数据集分布不均的问题，如监控中的行人数据集，需要扩充数据集以平

衡数据分布。相比传统的数据扩充方法如图像翻转、平移、改变对比度等，生成对

抗网络能生成数据集中不存在的图片，并且生成图片有较高的质量。本文将基于生

成对抗网络对图像到图像生成模型的轻量化和行人数据扩充生成进行研究。本文工

作包括以下两个方面。

（1）针对网络模型结构复杂，参数量大，计算和存储成本较高，本文提出基于

StarGAN的多属性风格图像生成的轻量化网络，采用知识蒸馏对生成器进行蒸馏，并

设计学生判别器让教师判别器蒸馏学生判别器；然后在学生网络设计中采用skip-

connection进行跨模块的特征融合；接着增加内容损失函数保持生成图像和原图像的

内容信息的一致性；最后采用深度可分离卷积进一步降低参数量并提高图片生成质

量。

（2）在监控行人属性识别等应用场景中，由于环境限制，行人数据集中部分属

性值较少，影响算法识别精度，本文提出基于StarGANv2的行人属性生成网络，解

决由于数据分布不均匀导致识别精度较低的问题，作为行人属性识别和相关任务的

上游任务。

以上工作分别在人脸数据集和合作单位行人属性数据集上进行实验，结果表明

本文提出的多属性风格图像生成的轻量化网络，能保证在生成质量有提高的情况下，

用较少参数和计算量生成人脸图像；本文提出的行人属性生成网络，在部分数据比

例较低或识别精度较低的属性上进行了实验，能正确转换目标行人属性，扩充了行

人属性数据。在属性识别算法上的测试表明，平衡属性数据分布后提升了行人属性

识别的精度，表明了模型的有效性。

关键词：生成对抗网络；StarGAN；轻量化；行人属性生成

ABSTRACT

DevelopmentWiththegrowthofdatascaleandthecontinuousimprovementof

computingpower,neuralnetworkmodelscaneffectivelylearnthedistributionofdata.

Therefore,theapplicationofdeeplearningisbecomingmoreandmorewidespread,andit

alsoacceleratestheintegrationofcomputervisionandtraditionalindustries.However,deep

learningnetworkmodelsarebecomingincreasinglycomplexandhavemultiplenetwork

parameters;Inaddition,thereisaproblemofunevendistributionofdatasetsincomputer

visionapplicationtasksinspecialscenarios,suchasthepedestriandatasetinmonitoring,

whichneedstobeexpandedtobalancedatadistribution.Comparedtotraditionaldata

augmentationmethodssuchasimageflipping,translation,andchangingcontrast,

generativeadversarialnetworkscangenerateimagesthatdonotexi