OCR技术综述—入门篇-SIGAI-人工智能平台.PDFVIP

本文由SIGAI 人工智能平台原创，未经允许，不得转载 自然场景文本检测识别技术综述 SIGAI 2018．6．29 番外 青蛇: 姐, 图像文本检测和识别领域现在的研究热点是什么？ 白蛇: 白纸黑字的扫描文档识别技术已经很成熟，而自然场景图像文本识别的效果还不理想。 倾斜字、艺术字、变形字、模糊字、形似字、残缺字、光影遮蔽、多语言混合文本等应用落 地面临的技术难题还没被彻底解决。 青蛇: 文本检测模型CTPN 中为什么选用VGG16 作基础网络? 白蛇: CTPN 是2016 年被推出的, 而VGG16 是那年很流行的特征提取基础网络。如果今年 实施文本检测, 可以试试Resnet、FCN 、Densenet 等后起之秀作基础网络，或许有惊喜。 摘要 本文介绍图像文本识别（OCR ）领域的最新技术进展。首先介绍应用背景，包括面临 的技术挑战、典型应用场景、系统实施框架等。接着介绍搭建图文识别模型过程中经常被引 用到的多种特征提取基础网络、物体检测网络框架，以及它们被应用到图文识别任务中所面 临的场景适配问题。然后介绍最近三年来出现的各种文本边框检测模型、文字内容识别模型、 端到端图文识别模型。最后介绍图文识别领域的大型公开数据集。 本文由SIGAI 人工智能平台原创，未经允许，不得转载 1. 应用概述 OCR （Optical Character Recognition, 光学字符识别）传统上指对输入扫描文档图像 进行分析处理，识别出图像中文字信息。场景文字识别（Scene Text Recognition，STR ）指 识别自然场景图片中的文字信息。自然场景图像中的文字识别，其难度远大于扫描文档图像 中的文字识别，因为它的文字展现形式极其丰富：  允许多种语言文本混合，字符可以有不同的大小、字体、颜色、亮度、对比度等。  文本行可能有横向、竖向、弯曲、旋转、扭曲等式样。  图像中的文字区域还可能会产生变形(透视、仿射变换)、残缺、模糊等现象。  自然场景图像的背景极其多样。如文字可以出现在平面、曲面或折皱面上；文字区 域附近有复杂的干扰纹理、或者非文字区域有近似文字的纹理，比如沙地、草丛、 栅栏、砖墙等。 （本图摘自新浪微博《光学字符识别技术：让电脑像人一样阅读》） 也有人用OCR 技术泛指所有图像文字检测和识别技术，包括传统OCR 技术与场景文 字识别技术。这是因为，场景文字识别技术可以被看成是传统OCR 技术的自然演进与升级 换代。 图像文字检测和识别技术有着广泛的应用场景。已经被互联网公司落地的相关应用涉 及了识别名片、识别菜单、识别快递单、识别身份证、识别营业证、识别银行卡、识别车牌、 识别路牌、识别商品包装袋、识别会议白板、识别广告主干词、识别试卷、识别单据等等。 已经有不少服务商在提供图像文字检测和识别服务，这些服务商既包括了腾讯、百度、 阿里、微软、亚马逊、谷歌等大型云服务企业，也包括了一些活跃在物流、教育、安防、视 频直播、电子政务、电子商务、旅游导航等垂直细分行业的服务企业。这些企业既可以使用 提前训练好的模型直接提供场景图文识别、卡证识别、扫描文档识别等云服务，也可以使用 客户提供的数据集训练定制化模型（如票据识别模型），以及提供定制化AI 服务系统集成等。 如下图所示，传统技术解决方案中，是先分别训练文字检测和文本识别两个模型，然 后在服务实施阶段将这两个模型串联到数据流水线中组成图文识别系统。 本文由SIGAI 人工智能平台原创，未经允许，不得转载 如下图所示，最近流行的技术解决方案中，是用一个多目标网络直接训练出一个端到 端的模型。在训练阶段，该模型的输入是训练图像及图中文本坐标、文本内容，模型优化目 标是输出端边框坐标预测误差与文本内容预测误差的加权和。在服务实施阶段，原始图片流 过该模型直接输出预测文本信息。相比于传统方案，该方案中模型训练效率更高、服务运营 阶段资源开销更少。 文本检测和识别技术处于一个学科交叉点，其技术演进不断受益于计