12判别分析精讲.ppt

组间离差平方和为 : ( ) 2 1 ( ) ( ) 1 ( ' ' ) '[ ( )( )'] ' ; k m m m k m m m m SSG n a x a x a n x x x x a a Ba ? ? ? ? ? ? ? ? ? ? 这里 ( ) ( ) 1 ( )( )'] k m m m m B n x x x x ? ? ? ? ? 组内离差平方和为 : ( ) ( ) 2 1 1 ( ) ( ) ( ) ( ) 1 1 ( ' ' ) '[ ( )( )'] ' ; m m n k m m i m i n k m m m m i i m i SSE a x a x a x x x x a a Ea ? ? ? ? ? ? ? ? ? ? ?? ?? ( ) ( ) ( ) ( ) 1 1 ( )( )' m n k m m m m i i m i E x x x x ? ? ? ? ? ?? 这里 注 :L=|E|/|B+E| 为有 Wilks 分布的检验零假设 H 0 : m (1) =…= m (k) 的似然比统计量 . Wilks 分布常 用 c 2 分布近似 (Bartlett) 希望寻找 a 使得 SSG 尽可能大而 SSE 尽可能小 , 即 ' ( ) max ' a Ba a a Ea ? ? ? 记方程 |B- l E|=0 的全部特征根为 l 1 ≥ …≥ l r >0, 相应 的特征向量为 v 1 ,…,v r . ? (a) 的大小可以估计判别函 数 y i (x)=v i ' x (= a ' x ) 的效果 . 记 p i 为判别能力 ( 效率 ), 有 最大的值为方程 |B- l E|=0 的最大特征根 l 1 . 1 i i r h h p l l ? ? ? 使 ' ' a Ba a Ea m 个判别函数的判别能力定义为 1 1 1 m i m i i r i h h p l l ? ? ? ? ? ? ? 据此来确定选择多少判别函数。 再看逐步 判别法。 判别分析 (Discriminant Analysis) 和聚类分析的关系 ? 判别分析和聚类分析都是分类 . ? 但判别分析是在已知对象有若 干类型和一批已知样品的观测 数据后的基础上根据某些准则 建立判别式 . 而做聚类分析时类 型并不知道 . ? 可以先聚类以得知类型 , 再进行 判别 . 距离判别法 ? 假设有两个总体 G 1 和 G 2 , 如果 能够定义点 x 到它们的距离 D(x,G 1 ) 和 D(x,G 2 ), 则 ? 如果 D(x,G 1 ) < D(x,G 2 ) 则 x ∈ G 1 ? 如果 D(x,G 2 ) < D(x,G 1 ) 则 x ∈ G 2 ? 如果 D(x,G 1 ) = D(x,G 2 ) 则待判 Mahalanobis 距离 ? 假设 m (1) , m (2) , S (1) , S (2) 分别为 G 1 和 G 2 的均值向量和协差阵 , 则点 x 到 G i 的马氏距离定义为 D 2 (x,G i )=(x- m (i) ) ' ( S (i) ) -1 (x- m (i) ) ? 其他一些距离为马氏距离的特殊 情况 , 因此我们着重讨论马氏距离 . 马氏距离的好处是可以克服变量 之间的相关性干扰 , 并且消除各变 量量纲的影响 . 线性判别函数 : 当 S (1) = S (2) = S 时 2 2 (1) (2) 1 (1) (2) 2 1 1 ( , ) ( , ) 2[ ( )]' ( ) 2 D x G D x G x m m m m ? ? ? ? ? S ? 记 (1) (2) 1 (1) (2) 1 ( ); ( ) ( )' ( ) 2 W x x m m m m m m ? ? ? ? ? S ? 如果 W(x)>0 即 D(x,G 1 )<D(x,G 2 ) 则 x ∈ G 1 如果 W(x)<0 即 D(x,G 1 )>D(x,G 2 ) 则 x ∈ G 2 如果 W(x)=0 即 D(x,G 1 )=D(x,G 2 ) 则待判 当 m (1) , m (2) , S 已知时 , 令 a= S -1 ( m (1) - m (2) ) ≡(a 1 ,…, a p ) ' , 则 1 1 1 1 1 1 ( ) ( )' '( ) ( ,..., ) ( ),..., ( ) p p p p p p x W x x a a x a a x a x a x m m m m m m ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 显然 W(x) 为 x 1 ,…, x p 的线性