风格对抗网络和孪生网络在手写中文字符识别中的应用.pdfVIP

摘 要 手写中文字符识别在文档检索、邮政分拣、票据转录等任务中有着广泛的应 用。传统字符识别大多采用人工设计的特征，并在此基础之上利用机器学习模型对 其进行分类。传统识别方法经过长时间研究取得了良好的进展，但是识别效果依 然无法满足实际需求。近年来，随着GPU、TPU 等并行计算硬件的发展以及深度 学习理论研究的深入，基于深度学习的手写中文字符识别研究受到学术界的重视， 其性能明显超过传统方法。然而，现有的深度学习模型也存在着不足，一是模型容 易陷入对训练样本书写风格的过拟合，这将导致其在新书写风格样本上的分类性 能大打折扣；二是现有的模型大多只适用于训练时确定了固定分类类别的闭集字 符，对于闭集之外的新字符类别无法进行分类，这大大限制了模型的应用场景。 为了解决上述问题，本文将深度学习中的风格对抗网络和孪生网络应用于手 写中文字符识别任务，具体的研究工作如下： 1. 针对书写风格变化对识别性能产生影响的问题，提出了风格对抗网络 SAN （Style Adversarial Network），通过字符识别与书写人识别的对抗训练，使 得模型更好地抽取到书写风格无关的字符特征，从而提高模型的泛化性能。 该网络包括三部分：特征提取器、字符分类器和书写人分类器。在特征提取 器和书写人分类器之间加入梯度反转层GRL （Gradient Reversal Layer），使得 反向传播时，特征提取器的参数朝书写人分类器梯度的负方向更新，从而抑 制书写风格的过拟合倾向。模型在数据集ICDAR2013 上取得了97.27% 的识 别率，相比非风格对抗网络的模型高出0.39% 。 2. 针对现有的网络只适用于类别预先确定的闭集问题，提出了适用于开集字符 I 识别的孪生网络（Siamese Neural Network），该网络在训练阶段学习手写 字符与字符判别模板之间的相似度，在预测阶段将手写字符多分类任务转换 为手写字符与字符判别模板之间的多个二分类任务，从而实现开集上的字符 识别。孪生网络具有两条结构不同、不共享权重的子网络，以此来适应不同 的输入。通过在CASIA-HWDB1.0-1.2 以及ICDAR2013 上进行的一系列实验 证明，本文提出的孪生网络在一级字符闭集的3755 分类和二级字符闭集的 3008 分类任务上，准确率比现有最好的方法分别提高了0.41% 和1.9%。 3. 对适用于开集字符识别的孪生网络进行改进，提出了基于软注意力对齐的孪 生网络SNN-SAA （Siamese Neural Network-Soft Attention Alignment）。 软注意力对齐机制能够学习到手写字符和字符判别模板的相似特征的对应关 系，从而更好的进行二者的相似度度量。软注意力对齐层通过计算手写字符 和字符判别模板的注意力矩阵，对二者特征进行加权调整，从而使模型学习 到相同笔划之间的相似性。通过在CASIA-HWDB1.0-1.2 以及ICDAR2013 上 进行的一系列实验证明，加入软注意力对齐的SNN-SAA 在一级字符闭集的 3755 分类和二级字符闭集的3008 分类任务上，准确率相比非软注意力对齐 模型分别提高了4.92% 和7.55%。 关键词：手写中文字符识别；风格对抗网络；孪生网络；软注意力对齐；神经 网络 II ABSTRACT Handwritten Chinese character recognition has a wide range of applications in doc- ument retrieval, postal sorting, bill transcription, etc. Traditional character recognition mostly uses artificially designed features, and on this basis, it uses machine learning models