表格文字识别研发方案V1.0.pdfVIP

表格文字识别技术方案 一、项目背景 表格文字识别技术别于普通 OCR技术，其无法通过与字库进行 直接比对的方式进行识别，尤其在手机拍摄图像的场景下，文字的 识别受到光照、畸变等因素影响较大。此外在项目应用场景中，数 字的精准识别尤为重要，针对上述情况，综合实际情况考虑，制定 了基于神经网络的机器学习解决方案，使其在有较清晰原始图像的 情况下能够对图像进行精准识别。 二、技术目标 运用传统图像处理方法与机器学习领域的技术，完成本项目涉 及的表格文字识别技术的算法开发，并针对甲方的需求训练 20 个待 识别的表格模板。 三、技术内容 1、图像校正 由于手机拍照系统的像素低、畸变，或由于运动模糊、图像噪 声、拍摄角度过大等原因，会引起拍摄图像的失真。此时需要对失 真图像进行复原性处理，如图像几何校正、灰度校正等方法，如下 图几何校正。 图 1 图像校正示意图 2 ．图像增强 对图像进行校正之后，需要对图像通过一定手段对原图像附加 一些信息或变换数据，有选择地突出图像中感兴趣的特征或，抑制 图像中某些不需要的特征，突出主题内容。如下图二值化处理，突 出要是别的表格和文字区域，进行下一步处理。 图 2 图像增强示意图 3 ．内容提取 完成基于原始图像的校正和增强之后需要对图像进行内容提 取，通过模板匹配，内容定位等方式对内容区域进行提取以待后续 图像识别。 图 3 图像内内容提取示意图 4 ．神经网络 利用神经网络对现有票据数据样本（包含模板和票据文字）进 行训练，通过不断改善网络结构和样本集来提高识别率，然后利用 训练结果对模板进行分类。基于神经网络分类后的模板进行目标分 割、提取以及基于卷积神经网络的目标识别。 四、技术路线 2 表格文字识别的技术路线采用传统图像处理与深度学习相结合 的方式，通过传统图像处理方法对图像进行多层次预处理，然后通 过深度学习方法对图像进行分类和识别。 首先对采集到的图像进行多方面的校正、过滤和增强等图像预 处理工作，利用深度学习算法，基于票据内容建立文字识别库，并 针对客户票据类型建立识别模板库，系统自动识别模板库类型进行 匹配，并根据识别的模板类型对图像内容进行提取，并将提取后的 内容进行文字识别。技术路线示意图如下图所示。 图像校正 图像增强 模板识别 输入图像 输出结果 结果输出 内容识别 内容提取 图 4 技术路线图 五、进度安排 算法研发前期需要收集整理清晰的数据样本共 20 类，整体研发 过程控制在 3 个月内，研发完成后进行为期一个月的算法测试和试 运行，具体进度安排如下图所示。 阶段 内容 时间 负责方 1 20 类样本数据的收集整理 尽快 2 软硬件环境搭建以及样本整理加工 10 天 3 图像校正、增强与模板的训练 30 天 4 模板分类、内容提取与文字训练 30 天 5 文字识别与接口整理