多变量分析期中报告.ppt

多變量分析區別分析Discriminant Analysis 區別分析12.1前言 是典型相關的特例，應變數是二元分類變數，若只有兩群，則需一個二元分類變數，若有G群，則需G-1個二元分類變數。 目的：使用自變數的資訊去最清楚地區分兩個或兩個以上的群體。 本章介紹兩群及多群區別分析方法 兩群區別分析中，將介紹費雪法(Fisher)及馬氏距離法(Mahalanobis) ，及說明兩種方法本質上是與回歸分析相同的。 12.1.1潛在應用 在第三章，我們提到複廻歸分析的目的是描述自變數X如何影響應變數Y、推論X與Y的關係是否顯著、及使用X預測Y。 在本章區別分析中，目的是相同的，但是用的名詞不一樣，即： Profiling Differentiation Categorization 1.Profiling 當研究的目的俱探索性的本質時，區別分析的第一個目的通常是描述性的： 各群體在自變數上是如何區別開來的? 例: 某產品使用量大的與使用量小的 群體在家庭規模、收入、教育、種族等變數有何不同? 2.Differentiation 不同群在自變數上是否有顯著差異？區別分析可以讓我們檢定不同群間的平均向量是否有顯著差異。 例： 在製造業，瞭解與控制製程變異是很重要的。製造者可以抽樣各台機器製造的產品產品(Y)與測量產品的相關規格(X)，並利用區別分析檢定各台機器製造的產品的平均規格向量是否有顯著差異。 3.Categorization 預測觀察值的群體歸屬(即歸類)。即使用區別函數去歸類新觀察值。 例： 銀行使用區別分析來決定是否應放款給貸款申請者，稱為「信用評等」。區別顧客為高風險與低風險群，建立區別函數，用以歸類新申請者為高風險或低風險。 12.2.1兩群區別分析:原理 使用以下兩種方法來做區別分析： 費雪法(Fisher) 費雪法是基於區別分數( discriminant score)的概念。找出自變數的線性組合，產生使組間最大差異的區別分數。 圖12.1，兩群組觀察值的聯合分配。 費雪法(Fisher) 表12.2 的區別分數顯示組間差異相對於組內差異 較小。 表12.3的區別分數顯示組間差異相對於組內差異 較大，可以更清楚區分兩群組之 觀察值。 費雪法(Fisher) 為了找出線性組合來產生最佳區別分數，我 們需要一個目標函數將Fish的”maximally different”的概念量化： 令 線性組合=k 則 區別分數=t=Xk 費雪法是找出適當的k，使區別分數的組間差異相對於組內差異最大化。 費雪法(Fisher) 區別分數的群間平方和相對於群內平方合的比為 為X的聯合(pooled)組內共變異數矩陣。 選擇k使目標函數 最大化，則： 因為k向量的尺度未定，我們通常選擇標準化的k，即 K的長度為1 費雪法(Fisher) 1.假如X1與X2之間沒有組內共變異，這表示區別函數軸與連接兩群組平均的線相同。 表示頃斜該軸將減少兩群平均區別 函數分數的距離，且增加組內 區別函數分數的變異。 Cw= 1 0 0 2 費雪法(Fisher) 2.假如X1與X2是相關的呢? 組間平均不變，但組內共變異數矩陣 改變為 Cw= 2 1 1 2 最好的區別函數不再是X1-axis，而為 =0.894而非1.0 費雪法(Fisher) 小結： 描先求得兩群體平均向量差的軸，再根據自變數間共變異的型態調整此軸，以求得能最佳區別兩群體的線性組合函數。 馬氏距離法(Mahalanobis) 主要找出與兩群群平均向量等距離點的軌跡。 Mahalanobis不建議採歐氏距離衡量，而建議採共變異數來調整衡量。 使 馬氏距離法(Mahalanobis) 採共變異數調整距離取代歐氏距離的理 由： 假設資料為常態分配，馬氏距離比歐氏距離更能反映出群組歸屬的可能性(likelihood)。 馬氏距離法(Mahalanobis) 圖12.6 為獨立變數x1與x2 無相關性，與兩群心等距點的 軌跡為X1=1/2,垂直於x1軸 (費雪法的線性區別函數)。 馬氏距離法(Mahalanobis) 圖12.7為獨立變數x1與x2為正相關，與兩群心等距的直線為正斜率，此直線與費雪法的線性區別函數垂直。 馬氏距離法(Mahalanobis) 費雪法與馬氏距離法在處理問題時為互補的方法。 費雪法將資料投射到單一構面(線性區別函數)，使群組分隔最大化；而馬氏法決定能最佳地分開兩群的分隔線(或超平面)，此分隔線(或超平面)與線性區別