场景文本检测—CTPN算法介绍.PDFVIP

本文由SIGAI人工智能平台原创，未经允许，不得转载 场景文本检测—CTPN 算法介绍 作者：沪东三哥 2018 ．6 ．22 何为 OCR ？ OCR 的全称为“Optical Character Recognition” 中文翻译为光学字符识别。它是利用光 学技术和计算机技术把印在或写在纸上的文字读取出来，并转换成一种计算机和人都能 够理解的形式的过程。 先来看一个简单的 OCR 的流程： 第一步，通过图像信息采集（一般就是相机），得到包含了待识别字符的图像， 分析结构。 本文由SIGAI人工智能平台原创，未经允许，不得转载 第二步，运用阈值操作等一些图像处理的方法对待测对象进行去噪和矫正。 第三步，因为文本信息的特殊性质，需要进行行列分割，对单个字符，或者是连 续几个字符进行检测。 第四步，将分割后的字符图像导入识别模型中进行处理，进而得到原图中的字符 信息。 场景文本识别 对于印刷字体的 OCR 技术如今已经相当成熟了。腾讯 TIM 的手机版就自带有图像 文字提取的功能，微软的 Office Lens 的各种扫描功能呢等等，虽然不能说是百分之百 正确，但是 95%以上的印刷字体识别基本都是可以做到了。所以现在技术上关注的更多 的是 “场景文本识别”，也就是复杂环境下的字符信息的识别，如下面几张图所示。 图1 场景文本 图2 场景文本 CTPN 方法论文的检测结果图 对于复杂环境中的字符的识别，主要包括文字检测和文字识别两个步骤，这里介 绍的 CTPN(Detecting Text in Natural Image with Connectionist Text Proposal Network)方法就是在场景中提取文字的一个效果较好的算法，能将自然环境中的文本信 息位置加以检测。 涉及到了图像中位置信息的选择，很容易联想到之前用于目标检测的 R-CNN 的模型。 毕竟 CNN （Convolutional Neural Network ）在这两年的图像处理上一枝独秀已经“深入人 心”。那么把“字符位置”标记成一类，然后直接放入 CNN 模型处理岂不美哉？不过， 2 本文由SIGAI人工智能平台原创，未经允许，不得转载 现实总不会这么美好，文字的多种情况、字体，以及大面积的文字信息的位置，都对我 们直接用 R-CNN 的方法产生了干扰，让结果产生严重的偏差。应对于此，一类结合 CNN 优势，专门应对环境文本信息的模型也就因运而生了，CTPN 正是其中的佼佼者。 CTPN 算法概述 言归正传,那么算法上文本位置的准确界定是怎么做到的呢？ 首先，明确待检测的目标的特点，无论是图 3 还是图 4 的样例，文字信息的特点 在于它是一个序列，是由 “字符、字符的一部分、多字符”组成的一个 sequence 。所以这 个目标显然不像我们一般的目标检测中的对象那样是独立和封闭的，所以不妨使用前后 关联的序列的方法，比如说 RNN (Recurrent Neural Networks),利用前后文的信息来进行 文本位置的测定。 图 3 街景 图4 街景 来自网上街景图搜索 另外很重要的一点是，作者认为预测文本水平方向的位置比预测竖直方向上的位 置要困难得多。所以检测的过程中 不妨引入一个类似数学上“微分” 的思想，如下图 5 所示， 先检测一个个小的、固定宽度的文本段。在后处理部分再将这些小文本段连接起来， 得 到文本行。 3 本文由SIGAI人工智能平台原创，未经允许，不得转载