模式识别之特征选择与提取.ppt

1．K-L展开式aj：随机系数；用有限项估计X时：引起的均方误差：代入X、，利用第31页,共47页，星期六，2024年，5月由两边左乘得。uj为确定性向量R：自相关矩阵。：拉格朗日乘数第32页,共47页，星期六，2024年，5月说明：当用X的自相关矩阵R的特征值对应的特征向量展开X时，截断误差最小。选前d项估计X时引起的均方误差为因此，当用X的正交展开式中前d项估计X时，展开式中的uj应当是前d个较大的特征值对应的特征向量。第33页,共47页，星期六，2024年，5月K-L变换方法：对R的特征值由大到小进行排队：均方误差最小的X的近似式：矩阵形式：式中，，。其中：（5-49）——K-L展开式对式(5-49)两边左乘Ut：——K-L变换系数向量a就是变换后的模式向量。自相关矩阵第34页,共47页，星期六，2024年，5月2．利用自相关矩阵的K-L变换进行特征提取第一步：求样本集{X}的总体自相关矩阵R。决定压缩后的维数第35页,共47页，星期六，2024年，5月3．不同散布矩阵的K-L变换根据不同的散布矩阵进行K-L变换，对保留分类鉴别信息的效果不同。多类类内散布矩阵：若要突出各类模式的主要特征分量：选用对应于大特征值的特征向量组成变换矩阵；若要使同一类模式聚集于最小的特征空间范围：选用对应于小特征值的特征向量组成变换矩阵。类间散布矩阵：第36页,共47页，星期六，2024年，5月适用于类间距离比类内距离大得多的多类问题，选择与大特征值对应的特征向量组成变换矩阵。总体散布矩阵：把多类模式合并起来看成一个总体分布。适合于多类模式在总体分布上具有良好的可分性的情况。采用大特征值对应的特征向量组成变换矩阵，能够保留模式原有分布的主要结构。1）变换在均方误差最小的意义下使新样本集{X*}逼近原样本集{X}的分布，既压缩了维数又保留了类别鉴别信息。利用K-L变换进行特征提取的优点：第37页,共47页，星期六，2024年，5月2）变换后的新模式向量各分量相对总体均值的方差等于原样本集总体自相关矩阵的大特征值，表明变换突出了模式类之间的差异性。3）C*为对角矩阵说明了变换后样本各分量互不相关，亦即消除了原来特征之间的相关性，便于进一步进行特征的选择。K-L变换的不足之处：1）对两类问题容易得到较满意的结果。类别愈多，效果愈差。2）需要通过足够多的样本估计样本集的协方差矩阵或其它类型的散布矩阵。当样本数不足时，矩阵的估计会变得十分粗略，变换的优越性也就不能充分的地显示出来。第38页,共47页，星期六，2024年，5月3）计算矩阵的本征值和本征向量缺乏统一的快速算法，给计算带来困难。例5.3两个模式类的样本分别为利用自相关矩阵R作K-L变换，把原样本集压缩成一维样本集。解：第一步：计算总体自相关矩阵R。第二步：计算R的本征值，并选择较大者。由得第39页,共47页，星期六，2024年，5月第40页,共47页，星期六，2024年，5月多类类内散布矩阵Sw5.5特征选择从n个特征中选择d个(dn)最优特征构成分类用特征向量。5.5.1特征选取择的准则1．散布矩阵准则类别可分性测度类间散布矩阵Sb多类总体散布矩阵St特征选择准则使tr(Sw)最小使tr(Sb)最大使J1~J4最大第41页,共47页，星期六，2024年，5月2．散度准则用于正态分布的模式类。两类的散度表达式*平均散度选择使J最大的特征子集*变换散度*平均变换散度第42页,共47页，星期六，2024年，5月5.5.2特征选择的方法从n个特征中挑选d个特征，所有可能的特征子集数为组合数很大穷举法：计算出各种可能特征组合的某个测度值，加以比较，选择最优特征组。特点：计算量大，难实现。采取搜索技术可降低计算量。可以得到最优特征组；1．最优搜索算法分支定界算法：唯一能获得最优结果的搜索方法。自上而下、具有回溯功能。第