基于GAN的彩色文档图像去光照方法研究.pdf

天津师范大学硕士学位论文 摘 要 纸质文档是我们传递信息，表达思想的重要媒介，它包含大量信息，但是随 着时间的推移，人们发现纸质文档存在着很多弊端，例如不易保存，难以检索等。 随着电子设备的到来，文档数字化这个概念逐渐映入人们眼帘。将纸质文档以图 片的形式保存在计算机中，方便存储的同时还易于检索。以往我们通过打印机、 扫描仪等设备来存储纸质资料，如今随着手机等微型电子设备的普及，人们更倾 向于直接用此类设备获取信息。与扫描仪相比，使用手机摄像头捕获的文档通常 容易受到光照的影响，因为光源经常被相机或用户的手遮挡，即使没有遮挡，文 档上的照片通常也是不均匀的。为了提高捕获文档的质量和可读性，本文研究了 文档图像的光照去除问题。 本文针对手机拍摄的具有不均匀光照影响的彩色文档图像，提出了一种基于 生成式对抗性网络的光照均衡化方法。通过构建以ResUNet++作为生成器的生成 式对抗网络，将合成数据以及拍摄的真实数据共同作为训练集去训练，通过神经 网络预测，以此来达到彩色文档图片去光照的目的。为了证明本文方法的优越性， 将本文方法与近年来比较流行的方法进行对比，试验结果表明本文提出的方法在 去光照领域效果更好，模型泛化能力更强。最后为方便用户体验，设计并实现了 一个基于Web 的文档去光照系统。本文的主要工作如下： （1）本文提出一种基于CycleGAN 的不均匀光照文档生成方法，为了解决 训练数据短缺以及模型泛化能力弱的问题，通过设计基于随机参数的生成变换公 式生成光照背景图并利用CycleGAN 扩充随机信息，将生成的光照背景图与原图 融合，借此人工生成大量模拟真实光照场景的不均光照文档图片，进而提高数据 的丰富程度。试验结果表明，与直接使用光照背景图合成的不均匀图像作为数据 集相比，该方法提高了模型的鲁棒性，去光照效果更好。 （2）提出了以ResUNet++作为生成器的生对抗网络的彩色文档去光照模型， 针对已有的文档图像去光照模型在学习过程中对图像通道间的依赖性考虑不足， 而降低模型在彩色文档图像上的性能，本文提出利用ResUNet++作为生成器的方 法，其中ResUNet++由残差模块、挤压和激励模块、Arous 空间金字塔池(ASPP) 和注意模块构成，利用残差结构可以构建更深的网络模型，空间金字塔池用来获 取图像多尺度信息，引入注意力机制突出图像特征，解决模型退化问题的同时获 I 天津师范大学硕士学位论文 取通道间的关联信息，改善通道间的相互依赖性，进而提高模型图像处理的性能。 （3）设计并实现了一个基于Web 的文档图像去光照系统，前端使用Vue框 架实现，后端用SpringBoot 框架实现，图像去光照服务采用PyTorch 框架实现， 同时为了实现大规模的文本图像去光照任务，在后端web 服务和去光照服务之 间使用Kafka 消息队列作为服务间异步通信组件。保证了系统的稳定性。 关键词：生成式对抗网络;ResUNet++;不均匀光照彩色电子文档; II 天津师范大学硕士学位论文 目录 第一章 绪论1 1.1 研究背景及意义1 1.2 国内外研究现状2 1.2.1 基于传统算法的方法3 1.2.2 基于卷积神经网络的方法6 1.2.3 基于生成式对抗网络的方法9 1.3 本文研究内容与组织结构10 第二章 基于CycleGAN 的不均匀光照文档生成12 2.1 引言12 2.2 光照背景图生成12 2.3 光照背景图与原图的图像融合14 2.4 不均匀光照彩色图像生成方法流程15 2.4.1 方法