基于动态预测的文字检测与引导注意力的公式识别算法研究.pdf

华中科技大学硕士学位论文

摘要

自然场景和文档中包含了很多文字，这些文字中蕴藏了很多信息，文字理解任务

是对这些文字信息进行自动化地解析，有着广泛的应用场景，例如内容审核、关键信

息提取、自动化阅卷等，因此在该领域进行深度研究是极其有意义的，能够提高人们

的生产效率和降低成本。

场景文字检测和手写数学公式识别是其中两个重要的任务。场景文字检测是在

图片中定位文字，作为很多下游文字理解任务的前序步骤，深度学习时代以来出现的

研究工作在定位精度上展现了出色的效果。但面对自然场景下复杂多变的文字，例如

小文本、长文本等，目前的检测算法没有动态挖掘不同文字的特点去适应性地改变模

型参数，而且模型只关注在粗糙的文本行或词粒度，从而导致了一些错误检测。手写

数学公式识别是将公式识别为LaTex字符串，主流的方法使用覆盖注意力机制缓解

了公式中重复预测等问题，相比之前的传统方法显著提高了识别精度。但手写数学公

式具有复杂的二维空间结构，字符之间存在嵌套关系，并且还有多种多样的手写风

格、过长的序列等特点，这些挑战导致了注意力容易出现不准确或遗漏的问题。

为了解决上述问题，本文提出以下解决方案，并通过大量实验证明了有效性：

（1）为了让网络能自适应地处理不同类型的文字，本文提出了一个基于全局文

字查询的分割网络。它能动态聚合图片中文字的特征，生成文字相关的模型参数，能

够更好地同时处理小文本和长文本，对于其他类型文本也有很好的效果。

（2）为了进一步提高各种场景下文字的检测结果，并使网络能够关注到字符级

别的细节，本文提出用计数任务去促进场景文字检测，并设计了新的损失函数，其允

许用图片级别的标注引入字符位置信息，在各个数据集上都提高了检测模型的结果。

（3）为了缓解手写数学公式识别过程中注意力缺失和不准确的问题，本文提出

一个新颖的注意力机制，即全局字符位置信息引导的注意力机制，其没有引入额外标

注，能即插即用，通过应用该机制，本文显著提高了两个目前最优算法的识别结果。

关键词：场景文字检测；手写公式识别；自适应查询；计数；引导的注意力

I

华中科技大学硕士学位论文

Abstract

Naturalscenesanddocumentscontainalotoftextswithmuchinformation.Thetext

understandingtaskistoautomaticallyparsethem,andhasawiderangeofapplication

scenarios,suchascontentmoderation,keyinformationextraction,automatedgrading,etc.

Therefore,in-depthresearchinthisfieldisextremelymeaningful,whichcanimprove

peoplesproductionefficiencyandreducecosts.

Scenetextdetectionandhandwrittenmathematicalexpressionrecognitionaretwo

importanttasks.Scenetextdetectionistolocatetextsinimages.Asthefirstst