基于深度学习的自然场景文本识别算法研究与应用.pdfVIP

摘要

图像中的文本内容包含了丰富的信息，图像中文本内容的检测与识别已经是

当下的研究热点之一。对于背景简单的场景，例如文档扫描图像中文本内容的识别，

现有算法的效果优秀。但在自然场景中拍摄的图片，背景复杂、包含的字符的字体

变化较大、分辨率各不相同，这些问题对文本检测造成了挑战；一些文本区域中的

字符可能是不规则分布的，对文本识别造成挑战。面对以上挑战，本文从自然场景

图像中文本区域的检测以及识别两个主要方面进行研究，旨在提出一种识别准确

率更高的端到端的中英文文本检测与识别算法，并将本文提出算法在路牌场景文

本识别中的应用进行研究。本文的研究工作主要分为以下三点：

(1)为了解决自然场景文本检测效果不足的问题，本文选择以整体性能相当不

错的EAST(EfficientandAccuracySceneText)算法为基准，然后分析该算法存在的

问题：对长文本区域检测效果不佳。通过改进训练标签生成时文本区域对长边向内

收缩的比例、在算法的网络结构中增加特征增强模块增大特征提取主干的感受野、

置信度损失函数由平衡交叉熵损失函数改进为Focalloss损失函数，改进EAST算

法在公开数据集ICDAR(InternationalConferenceonDocumentAnalysisand

Recognition)2015数据集上的F1分数由76.40%提高到了82.24%。

(2)为了解决自然场景文本识别效果不足的问题，本文选择以经典的

CRNN(ConvolutionalRecurrentNeuralNetwork)算法为基准，针对CRNN算法对于

字符分布不规则的文本区域图像识别效果不佳的问题，本文提出引入可变形卷积

对CRNN算法的卷积层部分中的卷积进行替换，减少了背景的干扰，而且可以提

取到更多字符笔画的特征，因此改进CRNN算法对自然场景文本识别的准确率得

到了提高，在ICDAR2015数据集上的识别准确率由65.3%提高到70.6%，在IIIT

5K-word数据集上的识别准确率由85.2%提高到了90.3%。

(3)为了解决路牌场景文本识别算法准确率不足的问题，本文提出一个包含多

种类型的路牌、从多种环境中拍摄的路牌图片的数据集，该数据集比较好地模拟了

真实的自然环境中的路牌。然后，将本文提出的文本检测算法与文本识别算法组合

为端到端文本识别算法，在路牌场景数据集上进行性能测试，本文算法识别的准确

率与基准算法相比，从78.6%提高到84.3%。最后，为了方便实际使用，为该端到

端文本识别算法实现了一个拥有可视化界面的软件。

关键词：自然场景，文本检测，文本识别，路牌场景，端到端

ABSTRACT

Thetextcontentinimagescontainsrichinformation,andthedetectionand

recognitionoftextcontentinimageshasbecomeoneofthecurrentresearchhotspots.

Forscenarioswithsimplebackgrounds,suchastherecognitionoftextcontentinscanned

imagesofdocuments,existingalgorithmsworkwell.However,inpicturestakenin

naturalscenes,thebackgroundsarecomplex,thefontsoftheincludedcharactersvary

greatly,andtheresolutionsaredifferent.Theseproblemsposechallengestotextdetection;

thecharactersinsometextareasmaybeirregularlydistributed,andtheTextrecognition

poseschallenges.Facingtheabovechallenge