基于广义置信度样本选择算法.docVIP

基于广义置信度样本选择算法 　　摘要：对模式识别系统而言，不同的训练样本在建立模式类模型时所起的作用不同，因此必须对训练样本进行选择。而在训练样本中，边界样本的判定方式以及训练样本中包含边界样本数量的多少对分类的精度起主要作用。为此，结合基于模板匹配的脱机手写汉字识别，定义了一种通过广义置信度判定边界样本的方法，并且在此基础上建立了基于广义置信度的训练样本选择算法。通过在脱机手写汉字数据库HCL2004上进行实验，由该算法选择出的训练样本集在训练样本数减少的同时，使得系统识别率有了较大的提高，从而证实了该算法的有效性。 　　关键词：人工智能；模式识别；广义置信度；样本选择；手写汉字识别；HCL2004 　　中图分类号：TP391　文献标识码：A 　　 　　1 引言 　　 　　对于有监督的模式识别系统而言，模式识别的过程就是通过各模式类中一定数量的样本训练得到它们的基本模型，然后对未知样本进行分类决策的过程，因此，训练结果的好坏将直接影响到整个识别系统的性能[1]，而要得到一个好的训练结果，除了要选择合适的模型外，训练样本的好坏也是至关重要的，由于不同训练样本在训练过程中所起的作用不同，这就需要对训练样本进行选择。 　　近年来，许多学者在样本选择方面进行了大量的研究工作。文献[2～4]指出，对训练样本进行精心选择可以在缩短训练时问的同时增加分类器的推广能力。研究还表明，在训练样本中，位于分类边界面附近的样本(即边界样本)和位于模式类中心部分的非边界样本对分类所起的作用不同，其中，边界样本对分类的精度起主要作用[5～6]，也即在选择训练样本时，只有包含了足够多的边界样本，才能训练出好的分类曲面。对应于不同的分类器，有各种不同的边界样本的定义方法，在文献[7]中的基于神经网络分类器的识别系统中，边界样本定义为使输出变化较大的输入样本，从而将位于输出对输入的一阶偏导峰值某邻域内的点作为边界样本。文献[8]中则给出了通过聚类的边缘定义边界样本的方法。 　　本文以基于模板匹配的手写汉字识别系统为基础，定义了一种通过广义置信度判定边界样本的方法，并在此基础上建立了手写汉字样本选择算法。文章介绍了置信度和广义置信度的概念，并给出了广义置信度的估计方法，选取其中的最优估计形式，建立了基于广义置信度边界样本的定义和样本选择方法，最后给出了该算法在HCL2004手写汉字数据库上的实验结果。 　　 　　2　分类器的置信度分析 　　 　　对于任何一个模式分类器，除了希望它有尽可能高的识别率外，还希望能比较准确地估计其分类结果的准确性，也即识别结果的置信度。置信度越高，则识别结果的可信程度越高。对于字符识别来说，为了估计其识别结果的准确性，给出了广义置信度的概念[9]。 　　 　　2.1 分类器的置信度和广义置信度 　　设分类器S，x为待识别样本的特征向量，S对x的判决为es(x)，x的真实类别为ω(x)，则定义S在特征向量空间内点x处的置信度cs(x)为es(x)判定正确的概率，即： 　　cs(x)=P(es(x)=ω(x))　　(1) 　　由置信度的概念可见，置信度为值域在[0，1]上的关于分类器S在不同特征点的可靠性度量，为一种广义的绝对的概率度量。但在实际系统中，我们直接得到的观察量往往只能反映识别结果的相对可靠性，而无法给出绝对的概率度量，为此，我们引入了广义置信度的概念。具体为： 　　若存在函数fs(x)和一个单调递增函数g(?)，使得： 　　fs(x)=g(cs(x)) 　　(2)则称fs(x)为S的广义置信度。可见，广义置信度是一种相对度量，即：只要fs(x1)＞fs(x2)，就认为分类器S在特征点x1上比在x2上更可靠一些，而无须给出绝对的概率度量。 　　显然，置信度cs(x)是广义置信度的一个特例。对一个分类器而言，其置信度是唯一的，广义置信度则不是唯一的。因为只要将任何一个单调递增函数作用在置信度上就可以得到一个广义置信度。 　　 　　2．2分类器的置信度估计 　　为了在实际中应用置信度进行分析，首先要找到置信度的估计方法。对基于距离的分类器，常用的广义置信度估计的公式有： 　　c1(x)=-d1(x)　　(3) 　　c2(x)=d2(x)-d1(x)　　(4) 　　c3(x)=1-d1(x)/d2(x)　　(5) 　　其中：d1(x)是未知样本x与最近的代表样本xm间的距离，d2(x)是x与代表样本中与xm属于不同类别的样本的最近距离。 　　在文献[10，11]中证明了：对于最近邻分类器，在训练样本充分多、特征维数为1、类别数为2的情况下，式(5)的数学期望是一种广义置信度，而式(3)和(4)的数学期望都不是广义置信度。文献[12]中在用最近邻分类器进行手写数字识别的实