基于非参数化降维手写汉字识别研究.pdfVIP

基于非参数化降维的手写汉字识别研究 黄磊，刘昌平，刘迎建 中科院自动化所文字识别中心100080 E·mail：Icp@hanwang．com．cn 摘要：特征降维问题是汉字识别研究的重要内容．本文将测地路径(geodesic paths)与非参数化降维相结 合，提出了优化的降维方法．为解决大规模模式识别问题。本文同时给出了算法的化简策略．使得用测地 距离优化的非参数化降维算法在保证识别率的同时．训练速度极大提高，能应用于汉字识别与数字识别。 该方法使汉字识别率提高了1．5％。 1引言 对于大规模模式识别问题，由丁样本空间结构复杂，往往提取的特征维数较高，为尽 可能克服维度灾难和峰值效应问题，并从高维原始特征中提取较低维数的分类能力强的特 征。有必要对原始特征进行降维处理，在优化的子空间进行分类。常见的降维方法分为两类。 基于特征选择的方法和基于特征变换的方法，汉字识别中主要采用特征变换的方法。 Discriminant 线性判别分析(Linear Analysis)是撮典型的有监督的参数化降维方法III。 LDA由于实现简单．对服从高斯分布的样本分类效果好而得到广泛关注。众多的研究人员 论”】，核Fisher判别分类器等”J。 作为典型的参数化降维方法，LDA因为简单实用而得到了广泛的关注和应用。但LDA 有三个缺点：1．当样本分布不是高斯分布时，LDA分类性能不太理想；2．类间协方差 练样本分布很复杂，仅仅使用c．1子空间很难反映实际样本的分布。如数字样本只有十个类， 将特征空间降到10维会有大量的信息损失：3．当特征空间维数很高而样本相对较少时， 类内协方差矩阵可能是奇异矩阵，从而导致分类能力下降。为了克服这些问题，研究者提山 了非参数化的解决方法。 本文将在第2节介绍非参数化降维，第3节将测地路径(geodesicpat}ls)引入非参数化降 维，第4节讨论算法的优化问题，最后是实验及分析。 2非参数化降维 在LDA中，由于假设类内样本服从高斯分布．因而各个样本对类内均值的贡献是一样 的。而非参数化降维的主要思想就是，两个样本之间，距离越近，相互影响越丈，距离越远， 相互影响越小，因而每个样本对协方差矩阵的贡献是不同的。离类中心越近的样本对协方差 矩阵的贡献就大．离类中心远的样本对协方差矩阵的贡献就小。贡献的大小可以通过定义一 个权值来衡量。下面是非参数化降维中的中的几个定义9J： ——471—— ^， vfI) v(』， 样本的局部类中心：给定一个类“J和一个样本唧(第i类的第k个样本)，样本“在 类q中的局部类中心定义如下： Mj(x∥)=∑w}ulxf 其中权值埘”’表示第j类中第1个样本到样本x：。的权值，该权值可用距离的倒数归 一化表示： 。M：塑丛坐：蔓：鲨 ∑如r(嘏≈勺“ 其中dist(a，b)表示从a到b的距离。当两个样本之间，距离越近，相互影响越大． 权值越接近于1：反之距离越远．相互影响越小，权值越接近于0。 样本对协方差矩阵的贡献；用权值≈加表示样本。?’对∞J类协方差矩阵的贡献，其中 f-，时则为类内协方差矩阵，否则为类间协方差矩阵。硝棚定义如下： 露∽：善型型 ∑如f(班呜(《))。 样本碟’离类中心越近。对协方差矩阵的贡献就越大．权值越接近于l；反之，离类 中心越远．样本对协方差矩阵的贡献就越小，权值越接近于0。 因此，非参数化的类内离散度矩阵的定义为： r S=