基于二值神经网络的轻量化文字识别方法研究.pdf

天津师范大学硕士学位论文 摘要 随着近几年深度学习的迅速发展，涌现出了许多非常优秀的深度神经网络模 型。在数据规模不断增加的情况下，这些模型的性能得到持续提高，标志着人工 智能进入了新的时代。深度神经网络模型在OCR （Optical Character Recognition ） 上也被广泛应用，对文本的检测和识别任务有巨大的性能提升，从而可以催生出 更复杂OCR 应用场景。同时以手机、电子产品和云服务等为代表的服务载体加 快了OCR 的普及，全面推进了OCR 技术产业化的加速落地和持续性发展。 然而，这些复杂的深度神经网络模型需要很高的存储容量，并且会造成计算 资源的巨大消耗，难以满足快速、准确的现实应用需求。因此，如何在不影响准 确性的条件下，设计一个能够在移动设备的有限硬件约束下运行的较小模型是一 个关键的挑战。为了解决这一问题，本文将二值化神经网络应用于文字识别中， 把模型的权重限制到+ 1 和-1 两种值，然后使用全精度网络模型对二值神经网络 进行知识蒸馏来提高识别精度，最后将模型进行量化并部署到 Android 系统上， 实现了二值神经网络在文字识别上的初步应用。本文的主要工作如下： （1）提出了一种基于二值神经网络的CRNN （Convolutional Recurrent Neural Network ）文字识别模型。该模型首先使用二值神经网络作为主干网络来提取图 像特征，然后将特征输入到双向LSTM （Long Short-Term Memory ）网络继续提 取文字的序列特征，最后经过CTC （Connectionist Temporal Classification ）算法 将输入和输出的长度对齐进行损失函数的计算得到最终的文字识别结果。该模型 大幅降低了对计算资源的需求，提高了识别速度。 （2 ）提出了基于FSP 矩阵 （Flow of Solution Procedure ）的二值神经网络知 识蒸馏方法。通过对不同网络中的特征图计算内积得到FSP 矩阵，用来定义不同 层之间的变化过程，然后将教师网络与二值神经网络对应的 FSP 矩阵使用 L2- loss 计算损失函数，使知识能够从教师网络蒸馏到二值神经网络中。该方法可以 缓解二值神经网络的信息损失，帮助二值神经网络提取到更有效的特征，从而提 高文字识别的精度。 （3 ）设计并实现了基于QAT （Quantization Aware Training ）量化方法的模型 部署。使用深度学习推理框架MNN （Mobile Neural Network ）将识别模型使用量 I 天津师范大学硕士学位论文 化感知训练方法通过伪量化过程得到最优量化模型，来减小模型体积，提升推理 性能。设计了一个简单易用的轻量化文字识别App ，在手机端实现了文字识别的 功能。 关键词：二值神经网络；文字识别；模型压缩；CRNN II 天津师范大学硕士学位论文 目录 摘要 I Abstract III 第一章 绪论 1 1.1 研究背景和意义 1 1.2 国内外研究现状2 1.2.1 基于自然场景的文字识别方法2 1.2.2 基于二值神经网络的特征提取方法5 1.2.3 基于知识蒸馏的模型压缩方法 10 1.3 本文的主要研究内容和组织架构 13 第二章 基于二值神经网络的CRNN 文字识别网络 15 2.1 引言 15 2.2 CRNN 文字识别模型 15 2.2.1 基于MobileNet 的CRNN 模型 15