模式识别-判别域代数界面方程法fisher线性判别.pptVIP

第三章 判别域代数界面方程法 3.4 Fisher 线性判别 1 x u r o y 二维模式向一维空间投影示意图 2 x u r y t o y 二维模式向一维空间投影示意图 3 x x y t o y o 二维模式向一维空间投影示意图 y 4 （ 1) 求解 Fish 准则函数 5 6 ~ s 2 W ? ~ s 2 W ~ 2 r ( S r r r 1 ? s W 2 ? u ? W 1 ? S W 2 ) u ? u ? S W u 类间离差度为： ~ s 2 ? ( m ~ ? m 2 r r r r r r r r r r B 1 ~ 2 ) ? ( u ? m 1 ? u ? m 2 )( u ? m 1 ? u ? m 2 ) ? ? u ? S B u 7 J r ( m ~ 1 ? m ~ ) 2 u r ? S r 2 B u F ( u ) ? ~ s 2 W ~ 2 ? r r 1 ? s W 2 u ? S W u 并使其最大 , 上式称为 Fisher 准则函数 。 8 （ 2) 求解 Fisher 最佳鉴别矢量 利用二次型关于矢量求导的公式可得： ? J ? u r ? ? u r ? ? u r ? S r 2 ( u r ? S r r r r r F ? B u ? W u ) S B u ? 2 ( u ? S B u ) S W u ? u r ? S r ? ? r r 2 ? ? r W u ? ( u ? S W u ) r r 令 ? ? u ? S B u u r ? S r W u 可得： S r r B u ? ? S W u 9 10 ? u r ? S ? 1 r ? 1 m r r r r r W S B u ? S W ( 1 ? m 2 )( m 1 ? m 2 ) ? u ? 上式右边后两项因子的乘积为一标量， 令其为 ? ，于是可得 u r ? ? ? S ? 1 m r r W ( 1 ? m 2 ) ? 式中 ? 向，可以取为 ? 为一标量因子，其不改变轴的方 1 , 于是有 u r ? S ? 1 m r r W ( 1 ? m 2 ) 11 此时的 u r 可使 Fisher 准则函数取最大值，即是 n 维 空间到一维空间投影轴的最佳方向，由 u r ? S ? 1 r r r r m r r W ( m 1 ? m 2 ) 和 S B ? ( m 1 ? m 2 )( 1 ? m 2 ) ? J F 最大值为 : r r J ( u r ) ? u ? S B u F u r ? S r W u r r ? 1 r r r r ? 1 r ? ( m m ( m r 1 ? 2 ) ? S W 1 ? m 2 )( m 1 ? m 2 ) ? S W ( m 1 ? m 2 ( m r r ) ? 1 ? 1 r r 1 ? m 2 ) S W S W S W ( m 1 ? m 2 ) ? ( m r r ? 1 r r 1 ? m 2 ) ? S W ( m 1 ? m 2 ) 12 即 J r r ? 1 r r F = ( m 1 ? m 2 ) ? S W ( m 1 ? m 2 ) 称 y ? ( m r r ) ? S ? 1 r 1 ? m 2 W x 为 Fisher 变换函数 13 （ 3) 求解 Fisher 判别函数 由于变换后的模式是一维的，因此判别界面实际 上是各类模式所在轴上的一个点，所以可以根据训练 模式确定一个阈值 y t ，于是 Fisher 判别规则 为 : ? ? 1 r r r ? y t ? x ? ? u ? x ? y ? ? ? 2 判别阈值可取两个类心在 u 方向上轴的投影连线的 中点作为阈值，即 : ~ ~ m 1 ? m 2 y t ? 2 14 15 （ 7 ） 计算 m ~ i 。 m ~ 1 i ? N i ? y ( i ) j ? u r ? x ( i ) r r j ? 1 N j ? u ? m i i j ~ ~ （ 8 ） 计算 y 。 y m t 1 ? m 2 t ? 2 （ 9 ） 对未知模式 x 判定模式类。 u r ? x r ? y ? ? y x r ? ? ? ? 1 t ? ? ? 2 16 以 100 元 A 面数据和 5