基于神经网络的人脸图像风格转换算法研究.pdfVIP

基于神经网络的人脸图像风格转换算法研究 摘 要 在现实生活中，人们常常需要对自己拍摄的照片进行各种操作，以实现期望 的视觉效果。例如给照片中的人物化妆，改变图像中的呈现的时间或季节，按照 某种特定艺术风格对图像进行渲染等等。这通常需要借助相应的图像编辑工具， 例如PhotoShop 等，并花费大量的时间和精力才能实现上述效果。 图像风格转换技术可自动地实现上述图像编辑任务，降低图像编辑的操作难 度，提升易用性。给定一张内容图像作为输入和一张图像作为风格参考，风格转 换算法需要根据该参考图像的色彩样式、纹理特点等对输入的内容图像进行艺术 渲染，使之与参考图像的视觉效果一致，同时不改变输入图像的内容结构信息。 目前，基于神经网络的图像风格转换算法在部分不严格要求保留内容图像的纹理 细节的场景中能取得良好的结果。然而，这种风格转换算法是一种纹理迁移算法， 当把参考图像中的纹理迁移到内容图像时，会因为内容图像和参考图像的纹理差 异导致合成图像的失真。在严格要求保证合成图像清晰度的场景中，例如人脸图 像的风格转换等，该类算法通常难以获取良好的转换结果。因此，本文以人脸图 像的风格转换算法的研究为切入点，针对上述这些问题展开研究。主要的研究内 容以及成果如下： (1) 基于经典的风格转换算法，提出了一种自适应纹理感知的空间变换方法，有 效减小了人脸图像风格转换任务中由空间差异造成的失真。在人脸图像的风 格转换任务中，由于人脸的五官纹理特征非常接近，可以通过对风格图像的 空间位置进行适当地调整，以减小内容图像和风格图像的纹理差异，从而减 少合成图像的失真。该方法基于语义分割的方式，对风格图像进行不同的空 间变换，然后采用这些空间变换后的一组风格图像作为参考，进行风格转换。 (2) 提出了一种内容约束和风格约束低耦合的人脸图像风格转换算法，从根本上 解决由于内容图像和风格图像纹理差异造成的失真问题。采用空间变形的方 式，在一定程度上解决现有算法在处理人脸图像风格转换时，由于内容图像 和风格图像纹理差异造成的失真。为了从根本上解决该问题，本文提出了一 种能保留内容图像的高清纹理细节的内容重建方法。该方法将风格转换的控 制变量从内容约束中分离，从而减小与风格约束间的耦合。在风格约束上， I 基于神经网络的人脸图像风格转换算法研究 本文采用了基于语义分割的PatchGAN 策略，使风格约束更关注风格图像的 局部样式特征，而非全局的内容结构，从而减少风格转换时对内容纹理的影 响。实验结果表明，本文提出的人脸图像风格转换算法比现有算法表现更优。 关键词：人脸图像风格转换；空间变换；局部色彩变换；LCT ；鲁棒性 II Research on Neural Style Transfer for Headshot Portrait Abstract In our daily life, we often want to perform different software filter operations on the photos to achieve various special effects, such as Digital face makeup, altering the time of day or season of a picture, and rendering it according to a specific artistic style. This usually requires the help of corresponding image editing tools, such as PhotoShop, etc., and it costs a lot of time and effort to achieve the above effect. A series of digital image processing algorithms that use compute