簡單線性迴歸最小平方法.pptVIP

本章綜覽 變異數分析不適合用來說明當某變數變動一單位時，另一變數變動的情形。本章將介紹另一種方法：迴歸分析 (regression analysis)。 迴歸分析: 以數學和統計方法來確認一組變數中的系統性部分，並依此解釋過去的現象和預測未來。 介紹單一變數的簡單線性迴歸模型 (simple linear regression model)、最小平方法及其代數性質、衡量迴歸模型好壞的配適度指標等。 簡單線性迴歸模型 簡單線性迴歸模型：利用一個線性模型來捕捉 {(Xi,Yi),i=1,..,n} 這組雙變量隨機變數中 Yi 的系統性部分g(Xi)。 利用條件均數：E(Y|X ) = g(X)=α+βX， 其中α，β為未知參數，需要我們去估計。 可以將 Y 表示為 Y = α+βX + U, 其中 U 代表不能由 α+βX 所描述的 Y 行為，亦即 Y 與線性模型之間的誤差。 簡單線性迴歸模型 迴歸模型中的變數 Y 稱作應變數 (dependent variable 或 regressand) 變數 X 稱作解釋變數 (explanatory variable 或 regressor)。 參數 α 和 β 稱作迴歸係數 (regression coefficient)。 α: 截距項， β: 斜率。 線性迴歸中的「線性」二字是指模型為參數 (而非變數) 的線性函數。 α+βX2 , α+βlogX 是線性迴歸模型。 α+ X β不是線性迴歸模型。 最小平方法 估計迴歸係數最常用的方法之一就是普通最小平方(ordinary least squares) ，又簡稱為最小平方法。 最小平方法的「認定條件」是： Xi , i=1,2,…,n 之值不為常數。 除了上述認定條件之外，本章亦不對 (Xi, Yi) 的隨機機制作任何限制。 最小平方法 找α 和 β 使模型誤差 Ui 的平方和極小。採用誤差平方和是為了避免正負誤差之間互相抵銷。 目標函數如下： 最小平方法所找的就是使誤差平方和 (或其平均) 最小的那條直線。 如果目標函數改變 (如 Ui 的絕對值之和)，就會產生不同的迴歸線。 簡單線性迴歸模型 最小平方法 為使目標函數之值最小，必須解出以下的一階條件 (first order condition)。 這兩個一階條件又稱作標準方程式 (normal equations)。 最小平方法 可從標準方程式中求出 α 和 β 的解，稱作最小平方估計式 (ordinary least squares estimator，簡稱 OLS estimator)，一般以 若 Xi 為常數， ，則 根本無法計算，這是為什麼需要「認定條件」的原因。 最小平方法 將最小平方估計式 代入設定的線性模型就可得到一條截距為 ，斜率為 的直線， 稱作估計的迴歸線 (estimated regression line)。 斜率係數估計式 衡量 X 的邊際效果：當 X 變動一單位時，估計的迴歸線會預測應變數 Y 將變動 個單位。 截距係數 則表示當 X 為 0 時，估計的迴歸線所預測的應變數 Y 。 將樣本中的變數 Xi 代入估計的迴歸線，即可求得估計的應變數。 最小平方法 應變數 Yi 與估計所得到的應變數 之間的差距稱為最小平方法的第 i 個殘差 (residual)。 估計的應變數之實現值稱為配適值 (fitted value)，殘差的實現值稱為殘差值 (residual value)。 最小平方法的代數性質 在 Yi=α+βXi+Ui 的典型模型設定下，最小平方法的殘差具有以下三種性質： 以上的三條式子為一階條件的結果。 在典型模型設定下，給定一組樣本觀察值之後，估計的迴歸線必然通過 這一點。 簡單線性迴歸模型之比較 配適度的衡量 不同的解釋變數可能都適合描述應變數 Y 的系統性部分。如果可以衡量迴歸線的配適度(goodness of fit)，就可以選擇配適度較高的迴歸線來描述應變數的系統性部分。所以配適度的衡量指標就可以作為比較不同迴歸模型的基準。 例如：用坪數來解釋房價的配適度比用房間數來解釋房價的配適度高時，則前者是比較好的模型。 配適度的衡量-- 平方和的分解 以下為不受資料衡量單位影響的配適度指標的推導過程: 上式中第一項稱為總平方和 (TSS)，第二項為迴歸平方和 (RSS)，第三項為殘差平方和 (ESS)。 配適度的衡量--