《模式识别原理与应用》课件第5章.ppt

习题5-1三类的样值分布如图所示:求三类的总类内离散度矩阵Sw和类间离散度矩阵Sb。习题5-1图5-2已知两组一维正态分布,其期望和方差如下:第一组:μ1=0,μ2=0,σ21=4,σ22=0.25;第二组:μ1=0,μ2=0,σ21=1,σ22=1;分别求两组的Bhattacharyya距离和散度。5-3令xi(i=1,2,3)为独立的二值特征,且p(xi=1|ω1)=αi,p(xi=1|ω2)=βi,二类先验概率相等,αi、βi满足以下条件:(1);(2)β1－α1β2－α2β3－α3,试证各特征分别使用时其错误概率e(xi)满足:e(x1)e(x2)e(x3)。，5-4仍按上题条件,试证当两个特征合用时其错误概率为找出的条件。5-5条件同上题,如果给定:试计算:e(x1)、e(x2)、e(x3)和e(x1，x2)、e(x1，x3)、e(x2，x3)。5-6若有下列两类样本集用主分量分析方法分别将特征空间维数降到d=2和d=1,并画出样本在该特征空间中的位置。5-7向量x的协方差矩阵为计算x的一个白化变换。5-8证明在式(5-82)的处理后,y=Wx是白化矩阵,并且E(yyT)=I(单位矩阵)。5-9简述基于核函数方法的基本思想。5-10基本遗传算法问题求解的过程是什么？5.7特征选择方法根据特征选择的定义,要从n个特征分量中选出d个最有效的特征。一般情况下,原始特征向量的维数是已知的,在保证分类效果的前提下,压缩后的特征空间维数d未知。因此,特征选择的目的,不仅在于选出所要保留的特征,而且需确定保留多少个特征,即需要解决两个问题:什么是有效特征组;寻找有效特征组的方法。特征组可以通过上节介绍的各种可分性判据来判断其有效性。对于特征选择问题,由于选择后的特征维数未知,即d的选择范围在1~n之间的任何一个自然数,因此可以有的特征组合为(5-142)当n=100,d=10时,100个里面选10的组数为17310309456440。若d遍取1~99,则需计算的可分性判据的个数为(5-143)可见,选择范围是非常大的。因此人们提出了一系列搜索技术,其中一些是次优的,一些是最优的。5.7.1最优搜索算法分支界定法是一种不包括穷举搜索的最优搜索方法,它的搜索过程可以用一个树结构来描述,它是一种自上而下的方法。这种方法主要利用了特征选择可分性判据的单调性,即对于两个特征子集X和Y,有。下面用一个例子来描述这种方法。假设希望从5个特征中选择最好的3个特征,整个搜索过程采用树结构表示出来,节点所标的数字是剩余特征的标号。每一级在上一级的基础上去掉1个特征。5个特征中选3个,两级即可。为了使子集不重复,仅允许按增序删除特征,这样就避免了计算中不必要的重复。假定已获得树结构如图5-6所示,我们从分支数量不密集的部分到分支数最密集的部分(图5-6中的从右到左)搜索树结构。搜索过程在总体上是由上至下,从右至左地进行。在这个过程中包含几个子过程:向下搜索、更新界值、向上回溯、停止回溯再向下搜索。图5-6分支界定法树型图图5-7中将计算出的每个节点的可分性判据值标于相应节点。开始时置界值B=0,首先从树的根节点沿最右边的一支自上而下搜索,直接到达叶节点,得到特征集(1,2,3),可分性判据值为J=77.2,此时更新界值B=77.2,搜索回溯到最近的分支节点,并向下行进到该节点下一个最右的分支,计算J({1,2,4,5}),然后计算J({1,2,4}),发现该值比当前界值小,因此抛弃该特征组合,并回溯到上一级节点,再向下搜索到节点(1,2,5)并计算J({1,2,5}),该值大于界值,则更新界值B=80.1。图5-7分支界定法搜索回溯示意图类似地计算J({1,3,4,5}),由于其值小于界值,因此中止对该节点以下部分的树结构搜索,因为根据单调性,该特征集合的所有子集的可分性判据都低于其自身的可分性判据。这时该算法回溯到最近的分支节点并向下进行到下一个最右分支(2,3,4,5)。计算J({2,3,4,5}),同样,由于其值低于界值,该节点以