1．类内距离和类内散布矩阵.ppt

由 两边 左乘 得 。 uj为确定性向量 R：自相关矩阵。 ：拉格朗日乘数 说明：当用X的自相关矩阵R的特征值对应的特征向量展开X 时，截断误差最小。 选前d项估计X时引起的均方误差为 因此，当用X的正交展开式中前d项估计X时，展开式中 的uj应当是前d个较大的特征值对应的特征向量。 K-L变换方法： 对R的特征值由大到小进行排队： 均方误差最小的X的近似式： 矩阵形式： 式中， ， 。 其中： （5-49） —— K-L展开式 对式(5-49)两边左乘U t ： —— K-L变换 系数向量a就是变换后的模式向量。 2．利用自相关矩阵的K-L变换进行特征提取 第一步：求样本集{X}的总体自相关矩阵R。 决定压缩 后的维数 3．不同散布矩阵的K-L变换 根据不同的散布矩阵进行K-L变换，对保留分类鉴别信息 的效果不同。 多类类内散布矩阵： 若要突出各类模式的主要特征分量： 选用对应于大特征值的特征向量组成变换矩阵； 若要使同一类模式聚集于最小的特征空间范围： 选用对应于小特征值的特征向量组成变换矩阵。 类间散布矩阵： 适用于类间距离比类内距离大得多的多类问题，选择与大 特征值对应的特征向量组成变换矩阵。 总体散布矩阵： 把多类模式合并起来看成一个总体分布。 适合于多类模式在总体分布上具有良好的可分性的情况。采用大特征值对应的特征向量组成变换矩阵，能够保留模式原有分布的主要结构。 1）变换在均方误差最小的意义下使新样本集{X *}逼近原样本集 {X}的分布，既压缩了维数又保留了类别鉴别信息。 利用K-L变换进行特征提取的优点： 2）变换后的新模式向量各分量相对总体均值的方差等于原样本 集总体自相关矩阵的大特征值，表明变换突出了模式类之间 的差异性。 3）C*为对角矩阵说明了变换后样本各分量互不相关，亦即消 除了原来特征之间的相关性，便于进一步进行特征的选择。 K-L变换的不足之处： 1）对两类问题容易得到较满意的结果。类别愈多，效果愈差。 2）需要通过足够多的样本估计样本集的协方差矩阵或其它类 型的散布矩阵。当样本数不足时，矩阵的估计会变得十分粗略，变换的优越性也就不能充分的地显示出来。 3）计算矩阵的本征值和本征向量缺乏统一的快速算法，给计算 带来困难。 例5.3 两个模式类的样本分别为 利用自相关矩阵R作K-L变换，把原样本集压缩成一维样本集。 解：第一步：计算总体自相关矩阵R。 第二步：计算R的本征值，并选择较大者。由 得 多类类内散布矩阵Sw 5.5 特征选择 从n个特征中选择d个(d n)最优特征构成分类用特征向量。 5.5.1 特征选取择的准则 1．散布矩阵准则 类别可分性测度 类间散布矩阵Sb 多类总体散布矩阵St 特征选择准则 使tr(Sw)最小 使tr(Sb)最大 使J1~J4最大 2．散度准则 用于正态分布的模式类。 两类的散度表达式 * 平均散度 选择使J最大的特征子集 * 变换散度 * 平均变换散度 5.5.2 特征选择的方法 从n个特征中挑选d个特征，所有可能的特征子集数为 组合数很大 穷举法： 计算出各种可能特征组合的某个测度值，加以比较，选 择最优特征组。 特点： 计算量大，难实现。采取搜索技术可降低计算量。 可以得到最优特征组； 1．最优搜索算法 分支定界算法：唯一能获得最优结果的搜索方法。 自上而下、具有回溯功能。 使用条件： 可分性测度 J 对维数单调。 方法： 待选择的n个原特征为根； * 将可能的特征组构成树结构。 子结点的特征组元素个数逐级下降； 叶结点按照规定的特征数构成特征组合。 * 从最右边的叶结点开始，根据选择的测度回溯搜索。 * 找到最优特征组，结束。 例：从5个特征中选出2个特征作为模式向量。 2．次优搜索算法 虽然不能得到最优解，但可减少计算量。 1）单独最优特征组合 2）顺序前进法（Sequential Forward Selection，SFS） 3）顺序后退法（Sequential Backward Selection，SBS） 4）增l减r法（l－r法）：SFS和SBS的组合。 广义顺序前进法（Generalized SFS