降维算法和手写文字识别中若干问题研究-信息与通信工程专业论文.docxVIP

Research on Dimensionality Reduction and Handwritten Character Recognition A dissertation submitted to XIDIAN UNIVERSITY in partial fulfillment of the requirements for the degree of Doctor of Philosophy By Yao Chao (Information and Communication Engineering) Supervisor: Prof. Lu Zhaoyang September 2014 西安电子科技大学 学位论文独创性（或创新性）声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在导师指导下 进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内 容以外，论文中不包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技 大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切的法律责任。 本人签名： 日 期： 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保 留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内 容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后 结合学位论文研究课题再撰写的文章一律署名单位为西安电子科技大学。 （保密的论文在解密后遵守此规定） 本学位论文属于保密，在 年解密后适用本授权书。 本人签名： 导师签名： 日 期： 日 期： 摘要 摘要 摘要 摘要 摘要 本文对模式识别中降维算法和手写文字识别两个核心问题进行了研究。在降 维算法方面，对常用的线性判别分析（Linear Discriminant Analysis, LDA）算法进 行了深入的研究。首先讨论了 LDA 与分类误差之间的关系；然后对 LDA 在处理 多类问题，当最终的维度 l 小于类别数 C - 1 时，出现的非最优问题，提出了一种 基于子集划分的方法以提升 LDA 的性能；最后对 LDA 各个投影方向间的约束问 题，提出了一种基于类别对之间可分性状态的约束条件。在手写文字识别方面， 本文对 MQDF 分类器中替代参数 h 提出了一种新的估计算法；对手写汉字识别中 相似字的判别问题，本文提出了一种基于分类器级联的策略以更全面地利用原始 特征中的判别信息。本文取得了以下主要研究成果： 1. 讨论了 LDA 与 Bayes 分类误差之间的关系。在高斯分布假设下，对于两类 情况，本文推导出 LDA 和 Bayes 误差在等方差情况下的函数关系，并且给出了在 这种特殊异方差情况下两者的函数关系。对于多类等方差情况，分别推导 了 LDA、Bayes 与投影方向的函数关系，比较得到的函数关系可以从理论上解释 多类 LDA 在子空间维度 l 小于类别数 C - 1 时出现的非最优问题。 2. 对于多类 LDA 在寻找到的子空间维度 l 小于类别数 C - 1 时出现的非最优 问题，提出了一种基于子集划分的 LDA 改进方法。与已有的方法不同，本文利用 类别数 C 越小 LDA 得到解的鲁棒性越强这一现象，提出基于子集划分的方法提高 LDA 的性能。在训练过程中，提出的方法首先将多类问题划分为一系列子集，并 对子集求解子空间；在分类过程中，提出的方法将待分类样本 x 映射到其所属的 子集中，然后在该子集中进一步确定该样本所属的类别。为了得到全部类别的最 优子集划分，本文首先产生在指定分类器下各个类别间的关系，然后利用图分割 方法求解出最优的子集。因为提出的方法并没有涉及具体子空间的目标函数，所 以该方法可以用来改进其他线性降维方法。实验结果表明该算法可有效的提高 LDA 及其它线性降维方法的性能，特别是在最终维度较低的时候。 3. 对于 LDA 判别向量间的约束问题，提出一种基于可分性状态的 Fisher 判别 向量约束关系。本文研究了特征向量与其元素在可分性方面的关系，得到两类满 足等先验同方差高斯分布的特征向量，若向量中任意一个元素可分则该特征向量 必然可分。在上述结论的基础上，本文在寻找到每一个投影方向之后检查各对类 别投影后得到元素的可分性，并依据可分性状态更新类间离散矩阵。为了使投影 方向满足统计不相关的特性，本文将特征向量映射到投影向量的 St 正交空间中， 并迭代