模式识别-5--特征选择与提取精品.ppt

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 作业 1. 设有如下三类模式样本集ω1，ω2和ω3，其先验概率相等，求Sw和Sb ω1：{(1 0)t, (2 0) t, (1 1) t} ω2：{(-1 0)t, (0 1) t, (-1 1) t} ω3：{(-1 -1)t, (0 -1) t, (0 -2) t} 作业 2. 设有如下两类样本集，其出现的概率相等： ω1：{(0 0 0)T, (1 0 0) T, (1 0 -1) T , (1 1 0) T} ω2：{(0 0 -1)T, (0 1 0) T, (0 1 -1) T , (1 1 -1) T} 用K-L变换，分别把特征空间维数降到二维和一维，并画出样本在该空间中的位置。 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 5.2 特征选择 解决方法： 引入变换散度 和 之间的变化关系 ： （1） 随着 的增加而增加，先快后慢。 （2） 的取值范围有限度（饱和度）。 作用： 中和、抵消、保留。 平均变换散度： 和 之间的变化关系 ？？？ 5.2 特征选择 （C）巴氏距离和詹夫利斯－马特西斯距离（J-M距离） 对正态分布模式的巴特查斯距离，如果Ci =Cj时候，能得到非常简单的形式 对aij取平均值 但是会存在数值大aij的掩盖数值小aij的情况 ， 5.2 特征选择 因此我们可以引用前面的变换方法，作一个类似的简单的变换来消除这种情况 再取平均值 5.2 特征选择 5.2.4穷举式特征选取 方法3中介绍的一般原则，只是给出了比较科学的准则函数，但是还没有给出比较好的算法解决从n中测量值中选出m个作为分类特征量。这时采用1中介绍的思路，即按照中特征组合方案来进行穷举，得到选择最优。但是穷举法有个不利因素就是，计算量大，一则来之与当n很大的时候，计算量大，二则来自于本身可能要作矩阵运算或者求幂次运算。这可以从下面两种方法来降低运算量或者进一步简单化。 5.2 特征选择 5.2.4 穷举式特征选取 a）最大最小类对距离法 对多类问题，不是直接采用散度或者J-M准则来计算，而是计算类对距离来选择特征，或者采用更简单的方式 （b）分支定界搜索法 核心思想是：逐一降维 要求：准则函数按照特征维数单调变化性质 方法：在分支树中找到J最大的节点。 5.3 离散K-L变换 全称：Karhunen-Loeve变换（卡洛南-洛伊变换） 前面讨论的特征选择是在一定准则下，从n个特征中选出k个来反映原有模式。 这种简单删掉某n-k个特征的做法并不十分理想，因为一般来说，原来的n个数据各自在不同程度上反映了识别对象的某些特征，简单地删去某些特征可能会丢失较多的有用信息。 如果将原来的特征做正交变换，获得的每个数据都是原来n个数据的线性组合，然后从新的数据中选出少数几个，使其尽可能多地反映各类模式之间的差异，而这些特征间又尽可能相互独立，则比单纯的选择方法更灵活、更有效。 K-L变换就是一种适用于任意概率密度函数的正交变换。 5.3 离散K-L变换 我们在前面的特征选取中，从最终的结果来看，无非就是从n个测量值中选出了m个作为特征分量。从而就丢掉了n－m个分量，这一丢实际上就是丢掉了n－m个分量所带的信息。下面给大家介绍的K-L正交变换，就能够把n个测量信息都充分的利用起来,并且力图保持，变换后的n分量特征是相互独立的。这是我们讨论K-L变换的两个目标。 5.3 离散K-L变换 5.3.1 离散的有限K-L展开 展开式的形式 有一连续的随机实函数 用一已知的正交函数集 的线性组合来展开: 是正交函数，满足正交性条件： 而aj是展开式的随机系数 5.3.1 离散的有限K-L展开 将展开式写成离散形式，即将连续的随机函数和连续的正交函数在定义域内等间隔的采样为n个离散点 写成向量的形式： 取前面m项，做近似 其中 5.3.1 离散的有限K-L展开 在这里我们可以将向