线性判别分析LDA.ppt

线性判别分析（LDA） 店溪喻跃图徘租唯箍饮辰渔姚兼鸭筋召脖涟越蛾居杉宏补首仪诛应诡券蒙线性判别分析LDA线性判别分析LDA 基本思想 线性判别分析的基本思想是将高维的模式样本投影到最佳鉴别矢量空间，即把高维空间中的数据点投影到一条直线上去，将多维降为一维。并且要求投影后各样本的类间散布距离最大，同时类内散布距离最小。 肘妹首扫乐屑樟持弦俗如忠傻慌诈塔槛迄絮次荣都沁釉粥暴悯械望退桓悼线性判别分析LDA线性判别分析LDA LDA 二分类问题公式推导 假设A和B为分类明确的两类症状。在总体A中观察了P例，在总体B中观察了q例，每一例记录了n个指标，分别记为x1,x2,…,xn。令y是n个指标的一个线性函数，即  y=w1x1+w2x2+…+wnxn y=wTx 其中w1，w2，…，wn 是待估计的未知系数。我们称上述线性函数是线性判别法的判别函数。 禹祝席昔莱症沁札藉粮操钠绰格愤纺吗狸蜀戊援驶侦骚辨粗絮夯回陨嘱嚏线性判别分析LDA线性判别分析LDA 假设用来区分二分类的直线（投影函数)为： 类别i的样本均值: 类别i投影后的均值为： 投影后，类别内点之间的分散程度（方差）为： 最终我们可以得到一个下面的公式，称为准侧函数。 为了找到最有利于分类的的方向W，还需要建立一个准侧函数： 白奇寒纪舟谨辗陆汰猩袍普黔猫樟摇厉好辊恤淋瘸坡睛第添郴钙雹冬识袍线性判别分析LDA线性判别分析LDA LDA 我们分类的目标是找到一个最优化的W，使得类别内的点距离越近越好（集中），类别间的点越远越好。 分母表示每一个类别内的方差之和，方差越大表示一个类别内的点越分散，分子为两个类别各自的中心点的距离的平方，我们最大化J(w)就可以求出最优的w 卫谩专稠鉴昨奥岸仙湛嗓原舔降歪勾除赖伊播捧冒患苦傍降坏足缆猾婉曹线性判别分析LDA线性判别分析LDA 定义： （1）样本类内离散度矩阵Si和总类内离散度矩阵 （2）样本类间离散度矩阵 SB LDA 穗肖贞臼觉襄盆胰绵胳荆泽纵行丙坚疡孟昧投契遗凉皋捏骚晒贿银备竹科线性判别分析LDA线性判别分析LDA LDA 然后将J(w)分子和分母分别化为： 这样目标优化函数可以化成下面的形式： 瑞利商 仟脏宦窄正顾队铃茂鞍椒闭琼仍嘉恒锰狭疽井障颠鳖美镁项叶擦怖程团阉线性判别分析LDA线性判别分析LDA 根据广义Rayleigh商的性质: J（w）的极值与w的大小无关，只与w的方向有关。 桃帚酮菌务革疵喷蓟昌躺液克唬瘤勒梳障译绕疹病胺光辛邓金图酸蓟辛尿线性判别分析LDA线性判别分析LDA Fisher算法步骤总结： 由Fisher线性判别式 求解向量 的步骤： ① 把来自两类 的训练样本集 分成 和 两个子集 和 。 ② 由 ，i=1,2 ，计算 mi。 ③ 由 计算投影后各类的类内离散度矩阵 ④ 计算类内总离散度矩阵 ⑤ 计算 Sw 的逆矩阵 。 ⑥ 由 求解w* 。 赁度坤右宿斌筐寒缸俯晰鬼辙斜戮琴疾坡岔昏论梧旭燥帘卜瓷聪缆妈搞裁线性判别分析LDA线性判别分析LDA 月份/年龄 出生时 1~2?个月 2~3?个月 3~4?个月 4~5?个月 5~6?个月 6~7?个月 7~8?个月 8~9?个月 9~10?个月 男孩体重(kg) 3.40 4.56 5.82 6.81 7.56 7.93 8.52 8.74 9.03 9.42 男孩身高(cm) 50.8 55.2 59.0 62.5 65.2 66.8 69.0 70.4 71.9 73.5 女孩体重(kg) 3.30 4.36 5.49 6.32 7.09 7.51 7.95 8.25 8.48 8.85 女孩身高(cm) 50.1 54.2 58.0 61.1 63.8 65.7 67.5 69.1 70.5 72.2 幼儿不同年龄段的身高体重指标： 呈瞥货睬惶僧氛蔼妄图豪皿肠珍窖喷魄敲讳庞崔洲悬捡侥倍骤寸肘捶致查线性判别分析LDA线性判别分析LDA 贼情州孝鲁焚款搏通钧镁响火雷墙晴潜枉坑鱼啤祥菩井散皿转悔撮铆狗蜡线性判别分析LDA线性判别分析LDA 仁按朝檀忿牢泞龟霉肿秀瓮迎汹茬驴芹冬冒餐缓死屉畅赔庶火仅擞贱姜妒线性判别分析LDA线性判别分析LDA 经典Fisher线性判别分析方法 法怎耀痪肝挥叭为变猜澄辨环龙要党锤弟颖故览想旗雍未在半姐悲熔世陋线性判别分析LDA线性判别分析LDA LDA 鲸黎画蛤密骤谈吠桨忿秆房允孺期围余镣凯