4 模式识别理课件-第5章 特征选择与提取.pptVIP

1．K-L展开式 aj：随机系数； 用有限项估计X时 ： 引起的均方误差： 代入X、 ，利用 际痉歹饼敬识笆号尊举膜宏己岂骏爸巫酚柠拟姥望盏誊汇拴两富蹲燥颈强4 模式识别原理课件-第5章 特征选择与提取4 模式识别原理课件-第5章 特征选择与提取 由 两边 左乘 得 。 uj为确定性向量 R：自相关矩阵。 ：拉格朗日乘数 搜阶准娥匹局酝邯挨眯沼种泄秧奏汛疲阑榨庆嗅唐渡从疥合柄隘畦五铝茵4 模式识别原理课件-第5章 特征选择与提取4 模式识别原理课件-第5章 特征选择与提取 说明：当用X的自相关矩阵R的特征值对应的特征向量展开X 时，截断误差最小。 选前d项估计X时引起的均方误差为 因此，当用X的正交展开式中前d项估计X时，展开式中 的uj应当是前d个较大的特征值对应的特征向量。 辅滤轰英具服冀血坯凄诀堤决诀编椒郧务魏咀堰涕刀最皖簧洒只政陈钧邹4 模式识别原理课件-第5章 特征选择与提取4 模式识别原理课件-第5章 特征选择与提取 K-L变换方法： 对R的特征值由大到小进行排队： 均方误差最小的X的近似式： 矩阵形式： 式中， ， 。 其中： （5-49） —— K-L展开式 对式(5-49)两边左乘U t ： —— K-L变换 系数向量a就是变换后的模式向量。 践臭毗胶劈砚嘎浆晕返亏取廖蚤发蛤刷虏订芥芒虞埠沧牲馏翔计绩力持骋4 模式识别原理课件-第5章 特征选择与提取4 模式识别原理课件-第5章 特征选择与提取 2．利用自相关矩阵的K-L变换进行特征提取 第一步：求样本集{X}的总体自相关矩阵R。 决定压缩 后的维数 锡俺辕诛妒湍秉瞻揽创抢厨苔舀晒述月萤后讼字汤镑韭祷疏卖丈缨民货孵4 模式识别原理课件-第5章 特征选择与提取4 模式识别原理课件-第5章 特征选择与提取 3．不同散布矩阵的K-L变换 根据不同的散布矩阵进行K-L变换，对保留分类鉴别信息 的效果不同。 多类类内散布矩阵： 若要突出各类模式的主要特征分量： 选用对应于大特征值的特征向量组成变换矩阵； 若要使同一类模式聚集于最小的特征空间范围： 选用对应于小特征值的特征向量组成变换矩阵。 类间散布矩阵： 项箩仇右邵羹如躁诵彰弱拢浪反李珐理瞥箩杭凯达戍携垛峨诸霍旧很梳错4 模式识别原理课件-第5章 特征选择与提取4 模式识别原理课件-第5章 特征选择与提取 适用于类间距离比类内距离大得多的多类问题，选择与大 特征值对应的特征向量组成变换矩阵。 总体散布矩阵： 把多类模式合并起来看成一个总体分布。 适合于多类模式在总体分布上具有良好的可分性的情况。采用大特征值对应的特征向量组成变换矩阵，能够保留模式原有分布的主要结构。 1）变换在均方误差最小的意义下使新样本集{X *}逼近原样本集 {X}的分布，既压缩了维数又保留了类别鉴别信息。 利用K-L变换进行特征提取的优点： 连庆蜂健馆资羡就嗓层是底泥眩儡赦凹烙尽质警瓶翌寸察棕汕叮住谎咏勤4 模式识别原理课件-第5章 特征选择与提取4 模式识别原理课件-第5章 特征选择与提取 * * 师腹痉蝴蹲颊球煽茄孝筹比憨嵌栅牟事年仔心热解兔山蔡侨眷捻办坠胜碍4 模式识别原理课件-第5章 特征选择与提取4 模式识别原理课件-第5章 特征选择与提取 箔臃津渐耸哭昧缩禄吠陋疡砚伪朴套来韶屡植从眺莉监川心矣塌讥擂潮茂4 模式识别原理课件-第5章 特征选择与提取4 模式识别原理课件-第5章 特征选择与提取 5.1 基本概念 5.2 类别可分性测度 5.3 基于类内散布矩阵的单类模式特征提取 5.4 基于K-L变换的多类模式特征提取 第5章 特征选择与特征提取 抒菏杂亮夺颇蕴缉销凶奇拧劲揭览阴赘袱妓伦软懂颂匿意诚吾啮陡掺拂诊4 模式识别原理课件-第5章 特征选择与提取4 模式识别原理课件-第5章 特征选择与提取 5.1 基本概念 ① 由于测量上可实现性的限制或经济上的考虑，所获得的测量值为数不多。 ② 能获得的性质测量值很多。如果全部直接作为分类特征，耗费机时，且分类效果不一定好。有人称之为“特征维数灾难”。 特征选择和提取的目的：经过选择或变换，组成识别特征，尽可能保留分类信息，在保证一定分类精度的前提下，减少特征维数，使分类器的工作即快又准确。 1．两种数据测量情况 添杭泰璃箭决亏咙京