基于卷积神经网络的风格图像和谐化方法研究.pdf

目录

摘要I

ABSTRACTII

第1章绪论1

1.1研究背景及意义1

1.2国内外研究现状3

1.3研究内容7

1.4主要创新点8

1.5论文结构8

第2章风格图像和谐化方法相关技术10

2.1卷积神经网络相关技术10

2.2风格图像和谐化关键技术14

2.3卷积计算加速方法17

2.4本章小结20

第3章基于自适应卷积核的风格图像和谐化方法21

3.1问题分析21

3.2方法介绍22

3.3损失函数27

3.4评价方法28

3.5实验与结果分析31

3.6本章小结38

第4章风格图像和谐化模型卷积加速算法研究39

4.1问题分析39

4.2Rice卷积40

4.3Rice卷积硬件加速策略42

4.4实验与结果分析44

4.5本章小结53

第5章总结55

5.1内容总结55

5.2展望56

参考文献57

致谢62

在校期间发表论文及参加课题情况63

基于卷积神经网络的风格图像和谐化方法研究

摘要

在制作特效图像时，如果将照片中的物体作为前景图像直接粘贴到一张艺术

图像上，图像会严重不协调。为了消除这种不协调，需要仔细调整照片图像的色

彩和艺术风格，让它与背景图像平滑且自然地融合。这一过程被称为风格图像和

谐化。现有的风格图像和谐化技术聚焦于前景图像的色彩变换，却常常忽略了背

景风格图像中的局部纹理特征。特别是在处理包含抽象几何结构的风格图像时，

现有方法的效果往往不太理想。此外，一些较新的风格图像和谐化技术方法参数

量较大，部署时需要较高性能的设备支持，这增加了风格图像和谐化技术的使用

门槛，限制了其应用范围和普及率。针对这些问题，本文基于深度学习理论和

CUDA设备特点，对风格图像和谐化方法的理论和部署进行了深入研究。本文的

主要工作内容为：

（1）提出了一种基于自适应卷积核的风格图像和谐化方法。现有的风格图像

和谐化方法普遍采用AdaIN方法作为图像生成方法，AdaIN方法在进行图像生成

时会将图像的局部特征在整个通道上平均，因此忽略了风格图像中的局部纹理信

息。针对这一不足，本文提出了一种基于自适应卷积核的风格图像和谐化方法。

本文方法通过一个CNN模块提取背景图像的样式特征向量，并在推理过程中使用

样式特征向量动态地生成卷积核。与基于AdaIN的传统方法相比，本文提出的方

法能够更有效地捕捉并保留背景图像的局部结构信息，提高了合成图像与背景图

像的结构相似度，在生成复合图像时取得了更令人满意的效果。

（2）提出了一种风格图像和谐化模型的卷积加速算法。使用大卷积核能提高

模型的感受野，让模型能更好地拟合风格图像中的笔触纹理，但同时也会让计算

量增加。因此，本文提出了一种名为Rice卷积的5×5深度可分离卷积计算方法。

Rice卷积参数量较少，因此有更快的推理和收敛速度。借助更合理的参数布局，

Rice卷积实现了与普通卷积相当的拟合能力。实验结果表明，Rice卷积实现了平

均19.04%的速度提升，同时模型的性能没有变差。使用深度可分离卷积和Rice卷

积方法后，基于自适应卷积核的风格图像和谐化方法得到了37%的推理速度提升。

关键字：风格图像和谐化；模型轻量化；卷积算法

ADAPTIVECONVOLUTIONKERNELFOR

PAINTERLYIMAGEHARMONIZATION

ABSTRACT

Whencreatingspecialeffectsimages,directlypasting