第一章主成份分析.pptVIP

第一章 主成份分析 陳順宇 教授 成功大學統計系 主成份分析(Principal Component Analysis, PCA) 主要目的是訂定指標 它是對多個變數決定各變數權重而成 加權平均，依此訂出總指標 經由線性組合而得的主成份 能保有原來變數最多的資訊 即主成份有最大的變異數 也就是使受測者在這些主成份上 會顯出最大的個別差異 主成份分析3個重要目標 代表性 獨立性 精簡性 xi的線性組合 研究者常會找到很多項目(指示變數)， 然後做加權平均， 但問題就在於如何給定權重， 一種是主觀的人為訂定 (它是在資料收集前訂定)， 一種是客觀的透過資料本身 所傳達的訊息而訂定權重 (它是資料收集分析後再訂定) 權重 主成份分析就是要 將重要變數適當的給予較大的權重 不重要的變數給予較小的權重 矩陣的應用及特徵值、特徵向量 特徵值的定義 例：求矩陣A的特徵值、特徵向量 特徵值為的 根 解之得特徵值分別為 A為正定(positive definite p.d.)矩陣 定理 例1.1身高、體重的主成份分析 如何將身高與體重做一線性組合使y1更能代表一個人的體型呢？ 身高(x1)、體重(x2)的資料， 都是用來代表一個人體型的一部份 只用身高或只用體重都不足以說明體型 算出各種線性組合轉換後資料及平均數、變異數、標準差 以上各種組合以W4的變異數最大 下面討論如何找到此最佳解W4 有分辨能力表示變異數大 要先討論什麼樣的單一變數y1 才能代表原來的變數x1, x2？ 所謂有代表性，就是 最能分辨“人”的體型， 而什麼樣的情形分辨能力才強呢？ 變異數小表示內部有一致性， 表示品質均勻 對品管而言是好現象 但是在評分或分辨能力等問題， 如果變異數小，就表示分辨能力差。 線性組合 的變異數愈大愈好 在 的限制下， 找a1 , a2使Var(y1)最大 特徵向量 在 下，使a??a最大， 解a是矩陣?的最大特徵值 所對應的單位特徵向量 但在實務上 ?通常是未知的， 由抽樣資料可以求出樣本共變異矩陣S，然後以S代替? 樣本共變異矩陣S 特徵值?1, ?2 特徵值 求最大特徵值98.9511特徵向量a 第一主成份 求第二大特徵值3.0489特徵向量b 第二主成份 第一主成份的係數向量與第二主成份的係數向量有直交的現象，即 主成份分析的特點 (1)第一主成份的係數向量a1 與第二主成份的係數向量a2直交 (2)第一主成份y1與第二主成份y2也是 直交(即相關係數為0) (3)主成份的幾何意義 (a)照相角度的選取 對一群人照團體照就要選一角度， 它能將每個人都照的很清楚， 也就是要找一個角度， 它能分辨出每個人 這種想法與主成份分析找主成份很類似， 圖1.2 身高體重資料主成份分析 (b)橢圓長軸的想法 從散佈圖上找最佳的方向， 通常是利用畫橢圓(儘可能的扁) 能將所有資料點包含 橢圓長軸的方向即為第一主成份的方向。 而短軸的方向即為第二主成份方向。 圖1.3 身高體重資料橢圖長軸 迴歸線比第一主成份線平坦 (4)各個主成份的變異數等於其對應的特徵值 Var(yi) = ?i (5)所有主成份的變異數的和與所有變數之變異數的和相等 (6)第一主成份y1解釋變異比例 第一第二主成份解釋變異比例 身高、體重的例題 (7)主成份負荷第j主成份yj與第i個變數xi的相關係數(主成份負荷) 如第一主成份y1與身高(x1)的相關係數為 第一主成份y1與體重(x2)的相關係數 (8)共通性 主成份解釋變數(xi)的變異數比例 稱為的共通性(Communality)， 寫成 第1主成份解釋身高 第1主成份解釋體重 (9)以共變異數矩陣S做分析主成份得點 如第一位學生的第一主成份得點 (10)以相關矩陣做分析 如果由於變數的單位不同， 因此考慮將資料先標準化後 再做主成份分析 可以相關矩陣R取代共變異數矩陣S 再求特徵值、特徵向量 以相關矩陣做主成份分析則第一主成份為 (11) STATISTICA進行主成份分析 Statistics ?Multivariate Exploratory Techniques ?Principal Compone