神经风格迁移模型综述.docxVIP

神经风格迁移模型综述 绘画是艺术的一种表现形式，优秀的画作总是会吸引到大众的目光，在过去，一幅优秀的画作需要耗费一个专业的画家大量的时间来精雕细琢。现在随着计算机视觉的兴起，科学家们开始研究如何利用计算机技术将普通图像转换为艺术画作，风格迁移技术应运而生。风格迁移技术不仅可以用于绘制艺术风格图像，也可用于娱乐行业，例如影视、动漫的制作，将需要由人工逐步制作的背景渲染、漫画上色等交由风格迁移网络来批量完成，极大的缩短了制作时间，降低了制作成本。图像风格迁移可以理解为对图像进行重新渲染，在保持其内容特征不变的情况对其颜色、纹理等进行改变的过程。风格迁移技术主要分为传统风格迁移技术和神经风格迁移技术(neural style transfer, NST)。传统迁移技术主要包括早期的非真实感渲染(non-photorealistic rendering, NPR)纹理迁移技术主要用于纹理合成，即根据参考图像来对输入图像进行纹理填充，使得生成图像具有类似于样图的纹理风格，适用于处理纹理简单且重复的图像，如木纹、砖块和墙面等。Efros和Leung等人尽管以上传统迁移技术能够用于生成各类艺术作品，但仍有如下不足：（1）模型泛化程度差，只能进行某种特定风格的渲染；（2）这些技术只考虑了低层细节特征，没有提取图像高层语义特征；（3）以上方法采用逐像素编译来转换图像，速度较慢。为了解决以上不足，神经风格迁移技术应运而生。Gatys等人目前主流的神经风格迁移算法，根据图像生成方式的不同可分为两类：(1)基于图像迭代的慢速风格迁移。(2)基于模型迭代的快速风格迁移。其中基于图像迭代的慢速风格迁移通过在噪音图像上进行像素迭代来生成风格化图像，根据风格化方式的不同可再细分为基于统计参数和非统计参数的方法。其中基于统计参数的方法主要根据全局统计信息来进行风格匹配，以Gatys等人第二类基于模型迭代的快速风格迁移算法包括基于前馈风格化模型和基于GAN(generative adversarial network，GAN)的方法。其中，基于前馈风格化模型的算法通过预先训练生成模型的方式来快速风格化图像，以Johnson等人本文的贡献在于概述了现有的神经风格迁移算法，对其进行了详细的分类，并系统地讲解了各类代表性模型的算法原理。同时提出了针对神经风格迁移算法的评估方法，为模型的选择提供了参考。最后总结了现阶段神经风格迁移技术的不足之处，并提出了相应的改进措施。本文结构如下：第一部分对现阶段神经风格迁移算法进行分类和解释；第二部分阐述了神经风格迁移技术的商业前景；第三部分提出了风格迁移算法的评价方法，总结了各代表性模型的优缺点；第四部分指出了当前风格迁移方法存在的问题并提出解决方法；最后对本篇论文进行了总结并指出风格迁移算法具有良好的研究前景。1神经风格迁移方法本章概述了当前主流的神经风格迁移方法，包括基于图像迭代的慢速神经风格迁移和基于模型迭代的快速神经风格迁移。前一类方法在图像上逐像素迭代得到风格化图像，计算效率低下1.1基于图像迭代的慢速神经风格迁移基于图像迭代的慢速神经风格迁移首先利用深度神经网络提取图像特征，然后在随机噪声图像上采用反卷积神经网络（Convolutional Neural Networks, CNN）来迭代更新噪声图像像素，使其拥有内容图像的语义特征与风格图像的风格特征。这种采用反向CNN来进行图像重建的方法由DeepDream基于图像迭代的慢速神经风格迁移定义了两类损失函数：内容损失函数和风格损失函数。其中，风格损失函数是神经风格迁移的关键，根据风格损失函数的不同再细分为以下两类：基于统计参数的方法、基于非统计参数的方法。1.1.1基于统计参数的方法基于统计参数的方法根据全局统计信息来进行风格迁移。其中，基于Gram矩阵的方法、基于最大均值差(Maximum Mean Discrepancy，MMD)的方法都属于基于统计参数的方法。Gram矩阵。Gatys等人等式左侧其中，其中，其中，但Gatys等人的方法不能捕获图像的长期相关性；同时，采用Gram矩阵来表示风格特征的方法在稳定性、生成纹理质量等方面都具有局限性。此外，Gatys等人的方法只提取了图像高层特征，摒弃了低层信息，因此风格化后的图像会出现细节丢失的情况。而且Gatys等人的算法没有考虑图像的笔触变化、语义信息以及深度位置信息等，这会导致不合理的风格化。因此，后续的算法针对Gatys等人算法的缺点来进行了改进。Berger和Memisevic等人Risser等人针对内容图像低层信息丢失的问题，Li等人后续研究引入语义信息来加强对生成图像的控制。Castillo等人最