模式识别论文手写数字识别的GMM与最近邻分类器系统比较..docVIP

2015 年 秋季 季学期研究生课程考核 （读书报告、研究报告） 考核科目 : 模式识别 学生所在院（系） : 航天学院 学生所在学科 : 控制科学与工程 学 生 姓 名 : 学 号 : 15S004001 学 生 类 别 : 学术型 考核结果 阅卷人 《模式识别》课程结业报告 2015秋季学期 姓 名： 学 号： 15S004001 专 业： 控制科学与工程 哈尔滨工业大学 2015年12月  两种手写数字识别系统的比较 摘要：手写体数字识别是图像识别中一个较成熟的研究课题，是模式识别领域最成功的应用之一。本论文旨在研究GMM分类器和最近邻分类器这两种基本算法在数字识别这一问题上的应用。实验直接调用MNIST中数据集，集中每个手写数字存储为一个784维的归一化后的二值特征向量，因此可以省略数字的预处理过程，包括灰度化及二值化处理等。直接进行特征提取即主成分分析，把重点放在不同样本总数下二种方法的识别正确率的比较，验证最近邻法的渐进错误率最优极限为贝叶斯错误率这一结论。 关键词：数字识别;特征提取;主成分分析;GMM分类器;最近邻分类器;渐进错误率?? 1课题的背景 自上世纪六十年代以来，计算机视觉与图像处理越来越受到人们的关注，并逐渐成为一门重要的学科领域。而作为它们的研究对象的数字图像，也因为它含有研究目标的丰富信息而成为越来越重要的研究对象。图像识别的目标是用计算机自动完成某些信息的处理，用来替代人工去处理图像分类及识别的任务。而模式识别是六十年代初迅速发展起来的一门学科。由于它研究的是如何用机器来实现人及某些动物对事物的学习、识别和判断能力，因而受到了很多科技领域研究人员的注意，成为人工智能研究的一个重要方面。 1.1 手写数字识别的发展 手写数字识别是图像识别学科下的一个分支，是图像处理和模式识别领域研究的课题之一，由于其具有很强的实用性一直是多年来的研究热点。由于手写体数字的随意性很大，例如，笔画的粗细，字体的大小，倾斜等等都直接影响到字符的正确识别。在过去的数十年中，研究者们提出了许多的识别方法，取得了较大的成果。按提取的数字特征的不同，可以将这些方法分为两类：基于结构特征的方法和基于统计特征的方法。统计特征通常包括点密度的测量、矩、特征区域等；结构特征通常包括圆、端点、交叉点、笔划、轮廓等，一般来说，两类特征各有优势。例如，使用统计特征的分类器易于训练，而且对于使用统计特征的分类器，在给定的训练集上能够得到相对较高的识别率；而结构特征的主要优点之一是能描述字符的结构，在识别过程中能有效地结合几何和结构的知识，因此能够得到可靠性较高的识别结果。在此次的设计中使用的是统计特征。 在近几年国内外对手写数字识别系统的研究已经取得了进展，一些新的理论例如基于深度置信神经网络、基于小波技术、基于BP?神经网络以及支持向量机的研究应用在建立手写数字识别系统平台，并且在多数数据库中取得了较好的测试结果。但是目前仍然存在亟需深入研究解决的问题：一是识别的准确度需要达到较好的水平；二是识别的效率要达到很高的水平。数字识别输入的数据通常是很大的，而高精度与高速度是相互矛盾。这些难点存在的原因是：1)?数字的笔划简单，而且其笔划差别相对较小，字形相差不大，使得准确区分某些数字有一些困难；2)?数字虽然只有10?种，且笔划简单，但同一数字写法却千差万别，全世界的各个国家各个地区的人都在用，则其书写上带有区域特性，很难做出可以兼顾世界各种写法的、识别率极高的通用性数字识别系统。3)特征库的训练不够会导致识别率不高。 1.2 手写数字识别研究的意义 手写体数字识别实用性很强，在大规模数据统计(如例行年检，人口普查)，财务，税务，邮件分拣等等应用领域中都有广阔的应用前景。手写体数字识别在特定的环境下，如邮政编码自动识别系统，税表和银行支票自动处理系统等一般情况都有应用。当涉及到数字识别时，人们往往要求识别器有很高的识别可靠性，特别是有关金额的数字识别时，如支票中填写的金额部分，更是如此。 针对这类问题的处理系统设计的关键环节之一就是设计出高可靠性和高识别率的手写体数字识别方法。这个领域取得了飞速的发展，部分是由于更好的学习算法，部分是由于更优良的训练集。美国国家科学学会（NIST）建立了一个包含60000个经过标注的数字的数据库，它已经成为对新的学习算法进行比较的性能测试标准。然而可以说还没有哪个手写体数字识别器达到完美的识别效果。 手写数字识别的研究不仅存在很大的应用价值，由于手写