模式识别第讲特征的选择与提取.pptVIP

§2特征提取1按欧氏距离度量的特征提取方法2基于判别熵最小化的特征提取3两维显示第61页，共97页，星期日，2025年，2月5日y1y2y3yDox1x2xdo特征提取DdY空间D维原始特征集Y空间d维新特征集变换确定变换的依据:类别可分性判据目标:在新的特征空间中,各类之间容易区分.§2特征提取第62页，共97页，星期日，2025年，2月5日根据前面提到的类别可分离性判据。我们可以依据这些判据进行特征的提取。设原特征向量，对作线性变换，产生d维向量，，即矩阵称为特征提取矩阵或变换矩阵，称为二次特征。第63页，共97页，星期日，2025年，2月5日①s阶Minkowski度量多维空间中两个向量之间有多种距离度量②欧氏距离在Minkowski度量中，令s=2，得到常用的欧氏距离：1.按欧氏距离度量的特征提取方法第64页，共97页，星期日，2025年，2月5日③Chebychev距离:棋盘距离④Mahalanobis距离:式中Q是给定的正定标尺矩阵第65页，共97页，星期日，2025年，2月5日在实际应用中，在计算的复杂性方面，在是否便于进行解析分析以及用它进行特征提取的效果方面都各不相同。由于欧氏距离在很多情况下便于分析和计算.前面已经推导出了基于欧氏距离的一种度量函数，其中Sb为类间离散度矩阵,Sw为类内离散度矩阵.同样的，我们还可以提出下面各种判据：第66页，共97页，星期日，2025年，2月5日以J2为例,特征提取的步骤如下①作线性映射：其中Y为D维原始特征向量；X为d维压缩后的特征向量②令其中Sw，Sb为原空间（即Y的）离散度矩阵，S*w，S*b为映射后（即X的）离散度矩阵。第67页，共97页，星期日，2025年，2月5日③J2的表达式为：④求变换矩阵W,使J2（W）最大将上式对W的各分量求偏导数并令其为零,可以确定一个W，从而得到使判据达最大的变换W⑤新特征集为其中Y为原始特征集(D维),X为新特征集(d维)第68页，共97页，星期日，2025年，2月5日注:W的计算（适用于J2—J5判据）：则选前d个特征值对应的特征向量作为W，即：W=[u1,u2,……,ud]此时第69页，共97页，星期日，2025年，2月5日2.基于判别熵最小化的特征提取上节中讨论了用熵作为不确定性的一种度量的表达式，这里我们引入判别熵W(p,q)来表征两类分布p(xi)和q(xj)差别大小,令：对于特征提取来说，我们应该求得一组特征，它使上述判别熵最小。第70页，共97页，星期日，2025年，2月5日计算步骤如下:①A=G1-G2,G1，G2分别是第一类样本集和第二类样本集的协方差矩阵Y为所要求的一组特征，它使得判别熵最小③新特征集为②将矩阵A的特征值进行排序选取前d个特征值对应的特征向量构成变换矩阵W=[U1，U2，……，Ud]第71页，共97页，星期日，2025年，2月5日3.两维显示人的经验和直观对分类有很大作用，如果能将各样本在特征空间的分布情况显示出来，我们可以直接观察哪些样本聚集在一起，因而可能属于一类。最好能把原来的高维特征空间映射到二维平面上显示出来，这一映射要尽可能的保持原来样本的分布情况，或者尽量使各样本间相互距离关系保持不变.上述所讨论的各种变换方法有利于我们解决这样一种两维显示的任务.第72页，共97页，星期日，2025年，2月5日①线性映射两维显示只不过是前面所涉及的各种映射(线性)的一种特殊情况,即d=2②非线性映射对一些比较复杂的样本,线性映射常不能满足上面所提的保持分布不变的要求,可以用非线性映射替代第73页，共97页，星期日，2025年，2月5日设映射前两点间距离为D，映射后该两点间距离为D*.希望映射后D*尽可能等于D.令e=D–D*为任意两点映射前后距离之差，我们要选择映射函数f使e的函数值达最小.由于非线性映射比较复杂，一般情况下是用迭代算法。即选一个x的初值，再逐步调整（每次调整的方向应使误差减小），直到满足一个停止准则（例如，误差小于给定值，迭代次数超过预定次数，或显示结果已满足观察者要求为止).第74页，共97页