模式识别——手写数字识别GMM与最近邻分类器系统比较.pdfVIP

2015 年 秋季 季学期研究生课程考核 （读书报告、研究报告） 考 核 科 目: 模 式 识 别 学生所在院（系）: 航 天 学 院 学生所在学科: 控 制 科 学 与 工 程 学 生 姓 名: 学 号: 15S004001 学 生 类 别: 学 术 型 考 核 结 果 阅卷 人 《模式识别》课程结业报告 2015秋季学期 姓 名： 学 号： 15S004001 专 业： 控制科学与工程 哈尔滨工业大学 2015年12月 两种手写数字识别系统的比较 摘要：手写体数字识别是图像识别中一个较成熟的研究课题，是模式识别领域 最成功的应用之一。本论文旨在研究GMM分类器和最近邻分类器这两种基本算 法在数字识别这一问题上的应用。实验直接调用MNIST中数据集，集中每个手 写数字存储为一个784维的归一化后的二值特征向量，因此可以省略数字的预处 理过程，包括灰度化及二值化处理等。直接进行特征提取即主成分分析，把重点 放在不同样本总数下二种方法的识别正确率的比较，验证最近邻法的渐进错误率 最优极限为贝叶斯错误率这一结论。 关键词：数字识别;特征提取;主成分分析;GMM分类器;最近邻分类器;渐进错误 率 1课题的背景 自上世纪六十年代以来，计算机视觉与图像处理越来越受到人们的关注，并 逐渐成为一门重要的学科领域。而作为它们的研究对象的数字图像，也因为它含 有研究目标的丰富信息而成为越来越重要的研究对象。图像识别的目标是用计算 机自动完成某些信息的处理，用来替代人工去处理图像分类及识别的任务。而模 式识别是六十年代初迅速发展起来的一门学科。由于它研究的是如何用机器来实 现人及某些动物对事物的学习、识别和判断能力，因而受到了很多科技领域研究 人员的注意，成为人工智能研究的一个重要方面。 1.1 手写数字识别的发展 手写数字识别是图像识别学科下的一个分支，是图像处理和模式识别领域研 究的课题之一，由于其具有很强的实用性一直是多年来的研究热点。由于手写体 数字的随意性很大，例如，笔画的粗细，字体的大小，倾斜等等都直接影响到字 符的正确识别。在过去的数十年中，研究者们提出了许多的识别方法，取得了较 大的成果。按提取的数字特征的不同，可以将这些方法分为两类：基于结构特征 的方法和基于统计特征的方法。统计特征通常包括点密度的测量、矩、特征区域 等；结构特征通常包括圆、端点、交叉点、笔划、轮廓等，一般来说，两类特征 各有优势。例如，使用统计特征的分类器易于训练，而且对于使用统计特征的分 类器，在给定的训练集上能够得到相对较高的识别率；而结构特征的主要优点之 一是能描述字符的结构，在识别过程中能有效地结合几何和结构的知识，因此能 够得到可靠性较高的识别结果。在此次的设计中使用的是统计特征。 在近几年国内外对手写数字识别系统的研究已经取得了进展，一些新的理论 例如基于深度置信神经网络、基于小波技术、基于BP神经网络以及支持向量机 的研究应用在建立手写数字识别系统平台，并且在多数数据库中取得了较好的测 试结果。但是目前仍然存在亟需深入研究解决的问题：一是识别的准确度需要达 到较好的水平；二是识别的效率要达到很高的水平。数字识别输入的数据通常是 1) 很大的，而高精度与高速度是相互矛盾。这些难点存在的原因是： 数字的笔划 简单，而且其笔划差别相对较小，字形相差不大，使得准确区分某些数字有一些 困难；2)数字虽然只有10种，且笔划简单，但同一数字写法却千差万别，全世 界的各个国家各个地区的人都在用，则其书写上