基于深度学习的场景图像文字检测方法研究.pdfVIP

摘要

在自然场景图像中，文字是最常见的物体对象，它经常出现在交通指示牌、

产品包装等物体上。有效检测场景图像中的文字有助于许多应用程序实现特定的

功能，例如基于图像的地理定位系统可以通过检测并识别场景图像文字来实现定

位功能。随着深度学习的飞速发展，越来越多的基于深度学习的物体检测算法模

型被用来进行场景图像的文字检测。但是，由于场景图像中的文字对象与通用物

体对象不同，文字对象不仅具有尺度丰富、方向任意和宽高比极端等特性，而且

容易受到类似文字背景地干扰。针对自然场景图像中文字的分布特性，本文对自

然场景图像中的文字检测方法进行研究。主要工作如下：

(1)设计了一种基于SSD物体检测算法改进的自然场景文字检测模型，该模

型在SSD物体检测算法的基础上增加了一个文字区域检测模块。该模块可以根

据前面不同尺度的特征提取层检测到的特征图感受野的不同，调整默认预选框的

宽高比、卷积滤波器的形状以及默认预测框的空间密度。该模块可以高效地融合

各特征图上的文字检测结果，从而增强不同尺度文字检测的鲁棒性。

(2)本文设计的场景图像文字检测模型针对SSD物体检测算法只能生成水平

矩形的物体区域边界检测框，而导致对多方向的文字检测效果差的问题，在SSD

算法的基础上引入了一种可以生成任意方向文字区域边界框的计算策略。从而使

本文提出的文字检测模型可以检测任意方向的文字。

(3)设计了一种端到端的场景图像文字检测与识别模型，该模型在上文场景

图像文字检测模型的基础上加入了文字识别分支模块和由空间变换网络组成的

双线性插值采样模块。除此之外，还引入了共享卷积特征的思想，从而使模型可

以进行端到端地训练。该模型不但能够同时完成文字检测与文字识别任务，而且

可以充分发挥两者高度相关又互补的关系并进一步提升自然场景图像文字检测

与识别任务的准确率。

关键词：深度学习，自然场景图像，文字检测，SSD，端到端，空间变换网络

ABSTRACT

Innaturalsceneimages,textisthemostcommonobject,anditoftenappearson

trafficsigns,productpackaging,andotherobjects.Effectivedetectionofscenetexts

canhelpmanyapplicationsimplementspecificfunctions.Forexample,an

image-basedgeographicpositioningsystemcanimplementthepositioningfunction

bydetectingandrecognizingthetextofasceneimage.Inspiredbyrapiddevelopment

ofdeeplearning,moreandmoreobjectdetectionframeworksbasedondeeplearning

areusedtoperformtextdetectionofsceneimages.However,sincethetextobjectin

thesceneimageisdifferentfromthegeneralobject,thetextobjectnotonlyhavethe

characteristicsofrichscale,arbitraryorientation,andextremeaspectratio,butalso

areeasilydisturbedbysimilartextbackgrounds.Aimingatthedistribution

characteristicsoftextinnaturalsceneimages,thispaperstudiesthetextdetection

methods