基于深度特征对齐的图像任意风格迁移.pdfVIP

基于深度特征对齐的图像任意风格迁移 摘 要 图像风格迁移是指给定一组内容图像和风格图像，合成一张结果图像，该图 像既保留内容图像的内容，又体现风格图像的艺术风格。图像风格迁移是计算机 图形学、图像处理等领域的基础问题之一，在图像处理、艺术创作以及影视特效 等方面有着广阔的应用前景。近几年里，随着深度学习的发展，虽然图像风格迁 移方法的研究取得了重大进展，但是在实现图像任意风格迁移时，如何同时保证 速度和图片质量，仍有待进一步解决。当今先进的图像任意风格迁移方法都是使 用神经网络单步地对风格特征进行直接替换。这些方法在简单的内容-风格图像 对上可以获得高质量的合成结果，当内容图像和风格图像变得更加复杂、差异更 大时，往往出现风格特征扭曲失真、内容结构被破坏等问题，导致这些方法无法 合成合理且令人满意的风格迁移结果。 针对上述问题，我们提出了两种特征对齐网络来提高任意图像风格迁移结果 的质量：一种是基于误差的特征转移网络来对齐误差特征和中间风格化特征，另 一种是基于风格的特征对齐网络来对齐输入图像对之间的风格特征。 首先，在内容图像和风格图像较为复杂的情况下，使用神经网络进行一步/次 风格迁移，结果难以完全满足内容图像中语义结构和风格图像中风格模式的约束。 受误差修正工作的启发，我们提出了一个自校正模型来预测当前风格化结果与理 想风格化结果的误差，并以迭代的方式对其进行渐进式改进。对于每一次修正， 我们将误差特征在空间域和尺度域上进行传递，得到与当前风格化结果对齐的残 差图像，并对其更新，我们将这一模型称之为误差转移网络。该模型改进了现有 的方法，其结果具有更好的语义结构和更具适应性的风格细节。各种定性和定量 实验表明，误差对齐的关键概念和渐进策略都取得了较好的效果。 上述方法通过将误差引入前向网络，并对齐误差特征与当前风格化结果，获 得了更高质量的风格迁移结果。但该方法是基于迭代策略的，在增强网络泛化能 力的同时牺牲了运行效率。为了在网络泛化能力和运行效率间进行平衡，我们将 I 基于深度特征对齐的图像任意风格迁移 目光转向传统的通过一次特征匹配进行风格迁移的策略。在现有框架下，我们基 于一个新的观察，设计了一个新颖的风格特征对齐网络。 我们注意到风格迁移结果的扭曲失真，内容结构破坏等问题产生的一个原因 是目标内容特征与目标风格特征之间不匹配。因而，我们提出了一个新的基于风 格特征对齐的网络，旨在同时考虑一组输入的内容-风格图像的风格特征，通过 对齐它们的风格特征，提取出与目标内容特征更匹配的风格特征，从而减少冲突， 进而获得更高质量的风格迁移结果。实验证明该网络可以实时地输出内容结构更 好，风格特征更合理的风格迁移结果。 关键词：风格迁移；神经风格迁移；任意风格迁移；误差修正；特征对齐 II Deep Feature Alignment for Arbitrary Style Transfer Abstract Image style transfer is one of the fundamental problems both in computer graphics and image processing. Its goal is to synthesize a stylized image that preserves the content of an input content image while mimicking the style of an input style image. Style transfer has broad applications in image editing, artistic creation, and special effects for film and television. Recently, with the development of deep learning, researchers focusing on style transfer