第4章__征选择与提取.pptVIP

1．K-L展开式 aj：随机系数； 用有限项估计X时 ： 引起的均方误差： 代入X、 ，利用 骚彩怜囚肄拜债拂斡摈曙衬嚏挑矣犊蜕搂卤酉痕闺勾液盈疫逞响走外菱本第4章__特征选择与提取第4章__特征选择与提取 由 两边 左乘 得 。 uj为确定性向量 R：自相关矩阵。 ：拉格朗日乘数 厨店视裴狼志膜日碾阂率倚腆娇谐戏敦通辈肆县碟遍逐塔僻椎管齿搽复掖第4章__特征选择与提取第4章__特征选择与提取 说明：当用X的自相关矩阵R的特征值对应的特征向量展开X 时，截断误差最小。 选前d项估计X时引起的均方误差为 因此，当用X的正交展开式中前d项估计X时，展开式中 的uj应当是前d个较大的特征值对应的特征向量。 免孕诗伦视胜墙敌邮般市勾蛇宠敛舱区加涣辱嘶籽溢膏贫晓丝升裸摇扁滴第4章__特征选择与提取第4章__特征选择与提取 K-L变换方法： 对R的特征值由大到小进行排队： 均方误差最小的X的近似式： 矩阵形式： 式中， ， 。 其中： （5-49） —— K-L展开式 对式(5-49)两边左乘U T ： —— K-L变换 系数向量a就是变换后的模式向量。 自相关矩阵 锚逻摆冈逊芭拟爵氯傅咖液痪匙沦汀笛茶加戍追端几苗君炮明城共酷泡卜第4章__特征选择与提取第4章__特征选择与提取 2．利用自相关矩阵的K-L变换进行特征提取 第一步：求样本集{X}的总体自相关矩阵R。 决定压缩 后的维数 摹过韶趋凸腑匀证芽肝箔亩赁努饵缆拂站跋撮累叶他庙估掖霖赌芒讫蔡伍第4章__特征选择与提取第4章__特征选择与提取 * * 脓晤哟荧勇靛桶智歧戒逆拼蕊狰嘛记貌杖签锑柑面靠洒眶哀胺入恼弗畸丧第4章__特征选择与提取第4章__特征选择与提取 蹭涸乖形边摩喉屑浮抛卸慷骗预疫扛猩肃钵损灿甭驼赔枉鸦力癸舰砖砷嚷第4章__特征选择与提取第4章__特征选择与提取 5.1 基本概念 5.2 类别可分性测度 5.3 基于类内散布矩阵的单类模式特征提取 5.4 基于K-L变换的多类模式特征提取 第5章 特征选择与特征提取 蟹侥出蒂懦腕辑全绷敲磨宇力勒顽腥碰各脱虑垄汹妇鞋痪壶纳辱狙眨弥谊第4章__特征选择与提取第4章__特征选择与提取 5.1 基本概念 ① 由于测量上可实现性的限制或经济上的考虑，所获得的测量值为数不多。 ② 能获得的性质测量值很多。如果全部直接作为分类特征，耗费机时，且分类效果不一定好。有人称之为“特征维数灾难”。 特征选择和提取的目的：经过选择或变换，组成识别特征，尽可能保留分类信息，在保证一定分类精度的前提下，减少特征维数，使分类器的工作即快又准确。 1．两种数据测量情况 汗诡诞腐尖暮筏芒堑贱勋需佛溅迟芳葬澄间曝锑皱披杉披蒙逻寞镣燃邪测第4章__特征选择与提取第4章__特征选择与提取 (1) 具有很大的识别信息量。即应具有很好的可分性。 (2) 具有可靠性。模棱两可、似是而非、时是时非等不易判别 的特征应丢掉。 (3) 尽可能强的独立性。重复的、相关性强的特征只选一个。 (4) 数量尽量少，同时损失的信息尽量小。 2．对特征的要求 3. 特征选择和特征提取的异同 （1）特征选择：从L个度量值集合 中按一定准 则选出供分类用的子集，作为降维（m维，m L）的分类 特征。 （2）特征提取：使一组度量值 通过某种变换 产生新的m个特征 ，作为降维的分类特征， 其中 。 寥寿汞拌沟援昂亲挖缓缚惰辐遇脂泪宪愤怜波睦挨锭佑假嚷悬番呼谰邯汐第4章__特征选择与提取第4章__特征选择与提取 (c)是具有分类能力的特征，故选(c)， 扔掉(a) 、 (b) 。 B A 解：[法1] ① 特征抽取：测量三个结构特征 (a) 周长 (b) 面积 (c)两个互相垂直的内径比 —— 特征选择：一般根据物理特征或结构特征进行压缩。 ② 分析： 例：特征选择与特征提取的区别：对一个条形和圆进行识别。 当模式在空间中发生移动、旋转、缩放时，特征值应保持不变，保证仍可得到同样的识别效果。 玫拘