模式识别郝旷荣Chap5MSSBHKR.ppt

第五章 描述量选择及特征的  组合优化 第五章 描述量选择及特征的组合优化 §5.1 基本概念　　§5.2 类别可分离性判据　　§5.3 按距离度量的特征提取方法　　§5.4 按概率距离判据的特征提取方法　　§5.5 基于熵函数的可分性判据　　§5.6 基于Karhunen-Loeve变换的特征提取　　§5.7 特征提取方法小结　　§5.8 特征选择 然而(5-47)并不一定用于概率分布的差异度量，实际上可以对样本的特征向量在空间的分布借用概率分布的形式而利用(5-47)式。　 例如我们将样本值归一化，即　　 　　　　　 (5-48) 其中 表示第l类别中第k个样本的第i个特征值，按此定义，每个样本经归一化后其模都为1。 5. 5. 2 相对熵的概念及应用举例 在此基础上，定义一种“概率分布函数”：　　 　　　　　 (5-49)　　 表示为第l类i特征值的“概率”，Nl为第l类别的个数。根据这种定义应有　　 　　 满足概率函数总和为1的要求。下面讨论两类别问题中如何利用(5-47)进行特征提取。 5. 5. 2 相对熵的概念及应用举例 首先定义两类样本的协方差矩阵 与 。协方差矩阵 的第i行第j列元素为　　 　　　 (5-50)　　 其中n表示类别号，Nn为该类样本数。定义一个矩阵A，有  (5-51)利用(5-48)到(5-51)的一系列定义，(5-47)定义的判据函数U(p,q)(在此可写为 ) 与矩阵A的关系是 Aii表示矩阵A的主对角线元素。 　　 　　　　　 (5-52) 5. 5. 2 相对熵的概念及应用举例 因此特征提取的问题，就是如何对特征空间进行某种变换，得到样本分布在新的坐标系统中使两者分布有尽可能大的差异的问题。 这个问题也是利用矩阵的特征值矩阵与特征向量矩阵实现的。将矩阵A的特征值表示成 ，相应的特征向量为 并将A矩阵在由Uk组成的坐标系统中的对应矩阵表示成A0，则在新的坐标系统中差别函数　　 　　　 (5-53)　　 其中A0ii表示A0矩阵的主对角线元素。 5. 5. 2 相对熵的概念及应用举例 由于A0矩阵是A的特征值矩阵，是一个对角矩阵，因此有 (5-54)　　剩下的问题是如果能证明(5-52)中的U值确实不小于(5-54)的U0值。为此将(5-52)式右端表示成：　　 　　 其中利用A矩阵是对称矩阵的特点 故求和式中只需用i＞k的项。 5. 5. 2 相对熵的概念及应用举例 该式表明：　　 　　 (5-55)　 U大于等于A矩阵的平方矩阵的主对角元素之和。　　 由于A矩阵是样本在原X坐标系中定义的，而A0则是在 坐标系统中定义的，这两个坐标系统之间存在一种旋转关系T，旋转矩阵表示由 坐标系到X坐标系的转换，　　 　　 (5-56) 5. 5. 2 相对熵的概念及应用举例 T是正交归一矩阵，因此有 　　 　　(5-57)　　 而　　  5. 5. 2 相对熵的概念及应用举例 故有　　 　　 (5-58)　 因此如将矩阵A的特征值排列成　　 　　 则取前d个特征值所对应的特征向量构成坐标系统，可使判别熵最小。 5. 5. 2 相对熵的概念及应用举例 §5.6 基于Karhunen-Loeve变换 的特征提取 K-L变换又称主分量分析，是一种正交变换。在数字信号处理或数字图象处理有应用，K-L变换常用来作为数据压缩。 这里用它降维，学习这一节主要要掌握以下几个问题：