8313660_周烨_基于CNN的自然场景文本检测与识别研究.pdf

基于CNN 的自然场景文本 检测与识别研究 目录 第一章 绪论7 1.1 研究背景及意义7 1.2 国内外研究现状9 1.2.1 文本定位技术9 1.2.2 文本分割技术 11 1.2.3 字符识别技术 12 1.3. 主要研究内容 13 1.4 论文章节安排 13 第二章 自然场景图像中的文本检测概述 15 2.1 自然场景图像特点 15 2.2 自然场景中文本的特征 16 2.3 神经网络文本检测实验流程概述 19 2.4 本章小结20 第三章 基于CTPN 的多方向文本检测算法21 3.1 基于CTPN 的多方向文本检测算法21 3.1.1 CTPN 算法21 3.1.2 基于CTPN 的多方向文本检测算法22 3.2 算法评估实验23 3.2.1 数据库和评价标准23 3.2.2 实验结果24 3.3 算法仿真实验25 3.3.1 多方向文本检测与识别系统25 3.2.2 编写目的25 3.3.3 软件概述25 3.4 本章小结36 第四章 基于深度学习的场景文本识别算法37 4.1 图像裁剪37 4.2 基于CRNN 文本识别算法38 4.2.1 CRNN 算法38 4.2.2 对抗生成网络38 4.2.3 基于CRNN 文本识别算法39 4.3.2 测试集41 4.3.3 实验结果与分析41 4.4 章节小结43 第五章 结论与展望44 5.1 结论44 5.2 展望44 参考文献46 中 文 摘 要 自然场景文本检测和文本识别技术是计算机视觉邻域中的必不可 少的研究课题，随着智能硬件设备的普及，自然场景文本检测和文本 识别技术受到人们的广泛关注。它在汽车场景文字识别、卡证识别、 票据识别、教育场景文字识别等方面具有重要的应用等方面具有重要 的应用。但由于场景文本图像背景的复杂性和文本本身的多变性，想 要准确的检测和识别出文本还是很困难的。本文针对自然场景文本图 像检测与识别算法进行了研究，具体如下： （1）介绍了自然场景文本检测与识别算法的研究现状，分析了 场景文本面临的挑战。并介绍了目前常用的算法。 （2 ）针对CTPN 网络不能检测多方向文本的问题，提出了基于 CTPN 的多方向文本检测算法，并将该算法应用于多方向文本检测与 识别系统中。通过对待检测图像进行多角度旋转，对CTPN 网络检测 出的候选文本框进行融合，找出本文的最佳文本框。在对文本框进行 融合时，使用了自己的文本框融合算法，生成旋转的矩形框来标记文 本区域。将该算法在 IC15 数据集上进行了测试，验证了基于 CTPN 的多方向文本检测算法的合理性。解决了CTPN 网络只能检测水平方 向文本和稍微倾斜文本的问题。 （3 ）提出基于CRNN 文本识别算法。对CRNN 网络做出了改进， 以CRNN 为基础模型，在该模型的基础上添加了对抗网络分支，同 时将传统的文本特征与深度特征融合，使得能够识别有遮挡的文本。 将提出基于CRNN 文本识别算法放在在mjsynth 数据集上进行训练， 并在在IC13 和 SVT 数据集上进行了测试，相较于CRNN 算法在以 上两个数据集上的准确率提高都有所提高，特别在 SVT 数据集上， 没有约束字典情况下准确率提高了0.73 。 关键词：自然场景；文本检测；文本识别；CTPN ；CRNN ； ABSTRACT Natural s