光学字符识别..doc

光学字符识别系统 摘要：本文设计了一系列的算法，完成了文字特征提取、文字定位等工作，并基于卷积神经网络(CNN)建立了字符识别模型，最后结合统计语言模型来提升效果，构建一个完整的OCR(光学字符识别)系统.在特征提取方面，抛弃了传统的“边缘检测+腐蚀膨胀”的方法，基于一些基本假设，通过灰度聚类、图层分解、去噪等步骤，得到了良好的文字特征?文字特征用于文字定位模型中进行识别在文字定位方面，通过邻近搜索的方法先整合特征碎片，得到了单行的文字特征，然后通过前后统计的方法将单行的文字切割为单个字符在光学识别方面，基于CNN的深度学习模型建立单字识别模型，自行生成了140万的样本进行训练，最终得到了一个良好的单字识别模型，训练正确率为99.7%，测试正确率为92.1%，即便增大图片噪音到15%，也能有90%左右的正确率.最后，为了提升效果，结合了语言模型，通过微信的数十万文本计算常见汉字的转移概率矩阵，由Viterbi算法动态规划，得到最优的识别组合 经过测试，系统对印刷文字的识别有着不错的效果，可以作为电商、微信等平台的图片文字识别工具. 关于光学字符识别(Optical Character Recognition, OCR)，是指将图像上的文字转化为计算机可编辑的文字内容，众多的研究人员对相关的技术研究已久，也有不少成熟的OCR技术和产品产生，比如汉王OCR、ABBYY FineReader、Tesseract OCR等.?值得一提的是，ABBYY FineReader不仅正确率高(包括对中文的识别)，而且还能保留大部分的排版效果，是一个非常强大的OCR商业软件. 然而，在诸多的OCR成品中，除了Tesseract OCR外，其他的都是闭源的、甚至是商业的软件，我们既无法将它们嵌入到我们自己的程序中，也无法对其进行改进. 开源的唯一选择是Google的Tesseract OCR，但它的识别效果不算很好，而且中文识别正确率偏低，有待进一步改进. 综上所述，不管是为了学术研究还是实际应用，都有必要对OCR技术进行探究和改进. 将完整的OCR系统分为“特征提取”、“文字定位”、“光学识别”、“语言模型”四个方面，逐步进行解决，最终完成了一个可用的、完整的、用于印刷文字的OCR系统. 该系统可以初步用于电商、微信等平台的图片文字识别，以判断上面信息的真伪. 在本文中，假设图像的文字部分有以下的特征： 1. 假设要识别的图像字体都是比较规范的印刷字体，如宋体、黑体、楷体、行书等； 2. 文字与背景应该有比较明显的对比度； 3. 在设计模型的时候，假设了图片文本是横向排版的； 4. 文字的笔画应该有一定的宽度，不可以太细； 5. 同一个文字的色彩应该最多是渐变的； 6. 一般文字是通过比较密集的笔画成字的，并且很多时候都具有一定的连通性. 可以看到，这些特征都是常见的电商宣传海报等的常见特点，因此这些假设都是比较合理的. 实验流程图 本文的实验在CentOS 7 + Python 2.7的环境下完成. 其中，图像处理部分用到了下列拓展库：Numpy、SciPy、Pandas、Pillow；卷积神经网络模型用到了下述拓展库：Keras、Theano. 具体的实验配置后面会进一步谈到. 作为OCR系统的，特征提取是希望找出图像中候选的文字区域特征，以便进行文字定位和识别. 模仿肉眼对图像与汉字的处理过程传统的文本分割思路大多数是“边缘检测 + 腐蚀膨胀 + 联通区域检测”，如论文[1]. 然而，在复杂背景的图像下进行边缘检测会导致背景部分的边缘过多(即噪音增加)，同时文字部分的边缘信息则容易被忽略，从而导致效果变差. 如果在此时进行腐蚀或膨胀，那么将会使得背景区域跟文字区域粘合，效果进一步恶化. 在本文中放弃了边缘检测和腐蚀膨胀，通过聚类、分割、去噪、池化等步骤，得到了比较良好的文字部分的特征，这些特征可以直接输入到文字识别模型中进行识别.由于每一部分结果都有相应的理论基础作为支撑，因此能够模型的可靠性得到保证. 3.1图像的预处理 首先将原始图片以灰度图像的形式读入，得到一个m×n的灰度矩阵M，其中m,n是图像的长、宽. 这样读入比直接读入RGB彩色图像维度更低，同时没有明显损失文字信息. 转换为灰度图事实上就是将原来的RGB图像的三个通道以下面的公式整合为一个通道： Y=0.299R+0.587G+0.114B (1) 图像本身的尺寸不大，如果直接处理，则会导致文字笔画过小，容易被当成噪音处理掉，因此为了保证文字的笔画有一定的厚度，可以先将图片进行放大. 在实验中，一般将图像放大为原来的两倍就有比较好的效果了. 不