模式识别第七章特征提取与选择.pptVIP

第七章 特征提取与选择 类别可分性判据 离散K-L变换及其在特征提取 与选择中的应用 第七章 特征提取与选择 7.1 概 述 模式识别的三大核心问题: 通常在得到实际对象的若干具体特征之后，再由这些原始特征产生出对分类识别最有效、数目最少的特征，这就是特征提取与选择的任务。从本质上讲，我们的目的是使在最小维数特征空间中异类模式点相距较远（类间距离较大），而同类模式点相距较近（类内距离较小）。 （2）变换法，在使判据J 取最大的目标下，对n 个原始特征进行变换降维，即对原n 维特征空间进行坐标变换，然后再取子空间。 7.2 类别可分性判据 可用两类概密函数的重叠程度来度量可分性，构造基于类概密的可分性判据。此处的所谓重叠程度是指两个概密函数相似的程度。 (三)散度JD (Divergence) ?i类对?j类的平均可分性信息为： (三)散度JD (Divergence) 大盖小问题 在特征空间中，若有某两类间的JB、JC或JD很大，可使平均判据变大，这样就掩盖了某些类对的判据值较小的情况存在，从而可能降低总的分类正确率，即所谓的大盖小问题。为改善这种情况，可对每个类对的判据采用变换的方法，使对小的判据较敏感。例如，对JD ，可采用变换 在信息论中，熵(Entropy)表示不确定性，熵越大不确定性越大。可以借用熵的概念来描述各类的可分性。 使熵最小的特征利于分类，取熵的期望： 广义熵（具有熵的性质，利于计算）定义为: 第七章 特征提取与选择 7.5 离散K-L变换及其在 特征提取与选择中的应用 7.5.1 离散K-L变换（DKLT） 7.5.1 离散K-L变换（DKLT） 设有标准正交变换矩阵T，（即 TT=I） 在T‘T=I的约束条件下,要使均方误差 在上述的估计式中，如果不是简单地舍弃后(n-m)项，而是用预选的常数bi代替yi, i=m+1,…,n，此时的估计式为: DKLT的性质 (1) 变换后各特征分量正交或不相关 的自相关阵和协方差阵为 ①变换后的矢量的各分量是正交的,或不相关的(因为C=R-E(x)E(x’)，当E(x)=0时，不相关即是正交)； ②?i=E(yi2),或?i=E{[yi -E(yi)]2} (方差) (2)最佳逼近性 (3)使能量向某些分量相对集中，增强随机矢量总体的确定性 例: 已知两类样本 试用K-L变换做一维特征提取。 （4）选?1对应的 作为变换矩阵 我们知道，在贝叶斯判决中，似然比l12=p(x|?1)/ p(x|?2)是分类识别的一个重要度量，对于给定的门限P(?2)/P(?1) ， l12越大，对?1来讲可分性越好。实际上，此比值也反映出p(x|?1)和p(x|?2)的重迭程度，由此可构造出可分性判据。为使概密完全重迭时判据为零，应对上述比值取对数。考虑到全域，以分布密度作为“和”的权值，可以构造出下面的判据。 上式被积函数中两概密的差和两概密的比能反映出两类概密的重迭程度，同时被积函数中两因式永远同号，故其乘积非负，从数学构造上看也是有道理的。 我们知道，在贝叶斯判决中，似然比l12=p(x|?1)/ p(x|?2)是分类识别的一个重要度量，对于给定的门限P(?2)/P(?1) ， l12越大，对?1来讲可分性越好。实际上，此比值也反映出p(x|?1)和p(x|?2)的重迭程度，由此可构造出可分性判据。为使概密完全重迭时判据为零，应对上述比值取对数。考虑到全域，以分布密度作为“和”的权值，可以构造出下面的判据。 上式被积函数中两概密的差和两概密的比能反映出两类概密的重迭程度，同时被积函数中两因式永远同号，故其乘积非负，从数学构造上看也是有道理的。 7.2.3 基于后验概率的可分性判据 7.2.3 基于后验概率的可分性判据 熵的主要性质： (4) 其中 说明当类别较少时，分类识别的不确定性变小。 从特征选择角度看，我们应选择使熵最小的那些特征用于分类即选用具有最小不确定性的特征进行分类是有益的。 式中?0， ??1。不同的?值可得不同的可分性度量。 当??1时，由洛必达法则可得Shannon熵 当?=2时，可得平方熵 使用 判据进行特征提取与选择时，我们的目标是使 。 同理，我们亦可用点熵在整个特征空间的概率平均 作为可分性判据。 7.2.3 基于后验概率的可分性判据 DKLT的性质： 使变换后产生的新的分量正交或不相关; 以部分新分量表示原矢量均方误差最小; 使变换矢量更趋确定、能量更趋集中。 有限离散K-L变换（DKLT）,又称霍特林(Hotelling)变换或主分量分解,它是一种基于目标统计特性的最佳正交变换。 设 n 维随机矢量