多元迴歸分析.pptVIP

線性迴歸分析Linear regression 賴阿福 “迴歸(Regression)”名稱的由來 F．Galton和他的學生，現代統計學的奠基者之一K．Pearson(1856~1936)在研究父母身高與其子女身高的遺傳問題時，觀察了1078對夫婦。以每對夫婦的平均身高作為解釋變數x，取他們的一個成年兒子的身高作為被解釋變數y，將結果在平面直角座標系上繪成散點圖，發現趨勢近乎一條直線。演算出的迴歸直線方程為； ?=33.73+0.516x 這種趨勢及迴歸方程表明父母身高每增加一個單位時，其成年兒子的身高也平均增加0.516個單位。 這個結果表明，雖然高個子父輩有生高個子兒子的趨勢，但父輩身高增加一個單位，兒子身高僅增加半個單位左右。反之，矮個子父輩的確有生矮個子兒子的趨勢，但父輩身高減少一個單位，兒子身高僅增減少半個單位左右。 當父母親身高很高或很矮（極端傾向）時，子女的身高會不如父母身高的極端化，而朝向平均數移動（regression toward mediocrity），也就是著名的regression toward the mean現象。 迴歸分析簡介 若要能根據某變數來預測另一變數的值，則是迴歸分析。 迴歸分析必須以相關分析為基礎，任何預測的可靠性因變數間關係的強度而有所不同。 1.能否找出一個線性方程式，用來說明一組預測變數與效標變數的關係？ 2.這個方程式的預測能力如何？即其關係強度有多大？ 3.整體關係是否達到顯著水準？ 4.在解釋效標變數的變異時，是否只採用某些預測變數即具有足夠的預測力？ 迴歸分析應用 主要用途: 解釋： 說明預測變數與效標變數關聯強度及方向 預測：利用已知的自變數預測未知的變數 迴歸分析主要解決以下問題： 執行分析大量的樣本資料，確定變數之間的數學關係式。 對所確定的數學關係式的可信程度進行各種統計檢定，並區分出對某一特定變數影響較為顯者的變數和影響不顯著的變數。 利用所確定的數學關係式，根據一個或幾個變數的值來預測或控制另一個特定變數的取值，並給出這種預測或控制的精確度。 線性迴歸基礎 設有兩變數X和Y，X為一自變數（或稱獨立變數），是一種能事先準確觀測的變量（即可忽略其誤差），因此它不是一種隨機變數，而無機率分配的性質。Y為依變數，稱作「被解釋變數」，其是依X之值而改變的隨機變數。 線性迴歸方程式 隨機變數Yi之期望值 E(Yi) = UYi=α+βXi 由於E(Yi)為X之線性函數（即直線），因此理論（即母群體）的線性迴歸方程式可表為 E(Y) = UY=α+βX α：直線的截距 Β：直線的斜率 判定係數R2 迴歸方程的撮合度檢定就是要檢定樣本資料聚集在樣本迴歸直線周圍的密集程度，從而判斷迴歸方程式對本資料的代表程度。 迴歸方程式的撮合集成度檢定一般用判定係數R2執行。該指標是建立在對總離差平方和進行分解的基礎之上。 迴歸分析各離均差概念 總離差 應變數的實際觀測值(y)與樣本平均數( )的離差即總離差(y- )可以分解為兩部分：一部分是應變數的理論迴歸值（或稱預測值?）與樣本平均值( )的離差(?- )，它可以看成是能夠由迴歸直線解釋的部分，稱為可解釋離差；另一部分是實際觀測值與理論迴歸值的離差(y- ?)，它是不能由迴歸直線加以解釋的殘差e。對任一實際觀測值y總有： y- =(?- )+(y-?) 判定係數R2 將上式兩邊平方，並對所有個點求和，最終可得： = ?- )2+ SST=SSR+SSE SST=　 　　是總離差平方和； SSR=　 ?- )2稱為迴歸平方和，是由迴歸直線可以解釋的那一部分離差平方和； SSE=　　　稱為殘差平方和或剩餘平方和，是用迴歸直線無法解釋的離差平方和。 判定係數R2 各樣本觀點（散點）與樣本迴歸直線靠得越緊，SSR/SST則越大，直線撮合得越好。將這一比例定義為判定係數或可決係數，記為R2。 判定係數R2= =1- 判定係數R2 : the coefficient of multiple determination 判定係數R2測量迴歸直線對觀測資料的撮合程度。 若所有觀測值yi都落在迴歸直線上，SSE=0，R2 =1，撮合是完全的； 如果迴歸直線沒有解釋任何離差，y的總離差全部歸於殘差平方和，即SST=SSE， R2 =0，則表示因變數x與應變數y完全無關； 通常觀測值都是部分的落在迴歸直線上，即0R21。 R2越接近於1，表明迴歸直線的撮合程度越好；反之， R2越接近於0，迴歸直線的撮合程度就越差。 R2 R2, called multiple correlation or the coefficient of m