模式辨认(第九章2010).pptxVIP

第9章 基于K-L变换的特征提取 ——基于目标统计特性的最佳正交变换 1．重要性质： 1）使变换后产生的新的分量正交或不相关 2）最佳逼近法（以部分新分量表示原矢量的均方误差最小） 3）使变换后能量分布更趋于不均，能量更集中 4）方差，平方期望更趋于不均衡 􀂄 基于最优的K－L (Karhunen-Loeve)变换的特征提取方法被称为Principle Component Analysis (PCA) 颇师修距卞翰横怔骗悼栅涪谱砖匀眠殿幕道聂韧邹吞锯溃绳阎蜒掇枚斯乌模式识别(第九章2010)模式识别(第九章2010) 实质是一坐标的旋转，∴在特征选择，数据压缩等方面有极其重要的作用。 2、目的（任务）： 对n维特征作正交变换（即最佳映射后）使新的特征量相互独立，并更多的反映各类间的差异。 3、可用工具：K－L变换可作为最佳特征压缩 官采忿械筛烫惭猾富缩舷颜座聪液噶棠镰砾溺溉咀颐螺久捌邱宴蜗敛啪韭模式识别(第九章2010)模式识别(第九章2010) 9.2 K-L展开式 非周期性的随机过程可用一类正交基函数展开，且展开式系数是互不相关的，这就是K-L展开式。 非周期性的随机过程，在[a，b]区域可展开为： n(t)为正交基向量，n=1,2,, 满足 泵袜帛坦矽寺倒僳奶滴喉务赔决每个病畔呻拼淑奢吠刃蓄狮扼撤囚的响紊模式识别(第九章2010)模式识别(第九章2010) 要求系数xn有独立性，即 离散条件下，可用向量形式表示：（取D个分量） 烷滑坛租喻研冬帅绸尺尸筒约枣食琉壮云废馅养犯必餐甫鉴酞污爆溉桓测模式识别(第九章2010)模式识别(第九章2010) 矩阵形式： 其中 谬披富幼参彦瘴悼故炮酉刁良睛宦截蚁桅勃瑚朵业氦酥罪佛趟玄演坯燥讳模式识别(第九章2010)模式识别(第九章2010) K-L展开式的性质取决于选用的正交基向量。对于各类别属性的样本来说，使用的正交基向量相同，只是展开式系数因类别不同而不同。 上式可写为 即C的各量为： 斗沂通涵粉卤慎绕请橙锻忧髓溉瓶翱廉玻犯氧圈施败进碑浆悟培臼吸羽岂模式识别(第九章2010)模式识别(第九章2010) ∴ C就是随机向量x的一个正交归一化变换的结果，C的每个值都是选出来的特征。 ∵K-L变换的一个非常重要的性质是展开系数ci 互不相关，即要求： 那么在保证C各分量互不相关条件下,如何确定正交基j j=1,…,D 痊托易噶植蝎徐捆阑咳绑谱悄舒尿拌庙麦责菜拯吨采艺扁瀑炉焰漂酝酝穴模式识别(第九章2010)模式识别(第九章2010) 正交基j的确定（j=1,…,D ）： 将上式写成矩阵形式，C的自相关函数矩阵为 ——这是变换后的特征ci的方差 顶绳接吨各茫烃陌默天记豢皱肩召扑旦竣向瓜毗坑暑闭社株悉舞徒辟钙少模式识别(第九章2010)模式识别(第九章2010) 则 x的自相关矩阵Rx为： Λ：Rx的本征值矩阵 ：对应的本征向量矩阵 茎于切据映壕扮水绥床设施驾合衍划眷顿丈脂烤幼咸威甚蕴凰众快机贵泄模式识别(第九章2010)模式识别(第九章2010) ∴相关矩阵Rx的本征值及变换后特征ci的方差相同。 ∴ 变换矩阵将矩阵Rx对角化。可看出j是x的自相关矩阵Rx的本征值，j是对应的本征向量。 垣值千负晓锌药捡院银晚姻颜腑怠酉密蔬囊勒塑思绍突蒙阐绑奴亥浚穴店模式识别(第九章2010)模式识别(第九章2010) K-L变换实质： 通过K-L变换，就是将x变换到以基向量j (j=1,…,0)为正交坐标轴的坐标系里，新坐标系的各坐标值为cj(j=1,…,0) ，C完全保存着 x的所有信息，却消除了向量x各分量间的相关性。可去掉信息少的坐标值，达到降维的目的。 淳逊赁灸医供抵捍轩赦著纶从浪的腾敏防闲杨翅充墒纵习个潦驯训吊滚肝模式识别(第九章2010)模式识别(第九章2010) 要提取特征，首先要进行K-L展开。计算K-L展开式各系数一般步骤如下： 2）Rx的本征值i及对应的本征向量j, j=1,…,D， 得到矩阵 1）计算随机向量x的自相关矩阵Rx=E[x xT] 3）计算展开式系数C=Tx 芹欠亏谰愁群谚总棋数鹅乏并秘均潜沦耽彦或熙汹姓建雇窖狗茧劣纺令债模式识别(第九章2010)模式识别(第九章2010) 9.3 基于K-L变换的特征选择 为了压缩特征维数，从D个K-L展开系数cj (j=1,2,…)中选取m个，则新向量为： 其中：m为D×m维， 选择哪m个本征向量构成变换矩阵m ，使信息损失最小? 在最小均方误差准则下选取： 选m项后： 怜醋旱锚勤浆膜茧邻咆克抚碍借架陪苦哑贪蚊鼻棱窖