統計學—08線性迴歸.pptVIP

?2009 陳欣得 統計學—08線性迴歸 第八章　線性迴歸 8.1　線性迴歸概論 8.2　相關分析 8.3　簡單迴歸分析 8.4　迴歸模型係數的推導 8.5　多元線性迴歸與簡單線性迴歸 8.6　考慮質性資料 8.1　線性迴歸概論 多元迴歸 8.2　相關分析 相關係數的檢定 8.3　簡單迴歸分析 線性迴歸的假設 迴歸係數的估計 迴歸係數之假設檢定 迴歸分析之變異數分析表 判定係數 迴歸係數估計量之分配 檢定統計量 預測值的區間估計 變數變換（Transforming Data） 殘差分析（Analysis of Residuals） 8.4　迴歸模型係數的推導 估計迴歸參數 迴歸的變異數分析 判定係數 測量誤差的估計 8.5　多元線性迴歸與簡單線性迴歸 8.6　考慮質性資料 結束　08線性迴歸 * * * * * * * * * * * 多元迴歸（multiple regression） 有一個以上獨立變數的迴歸稱為多元迴歸。以下為多元線性迴歸例子：  多元迴歸也稱為複迴歸。 相關分析（correlation analysis） 相關分析探討兩個隨機變數之間的關係。 若兩變數有同向的變動則稱為正相關，反之為負相關。 基本上，相關分析在決定兩變數的相關程度。 迴歸（regression） 迴歸在以數學方程式建立變數間的關係。 若只有兩個變數而且是線性函數關係則稱為簡單線性迴歸（simple linear regression）。 相關分析與迴歸分析的異同 相關分析只探討相關程度，迴歸分析需找出描述兩者關係數學函數。 相關分析中兩變數的地位相等、對稱，迴歸分析則區分為相依變數、獨立變數。 （我們有興趣的是相依變數。） 範例1　（相關分析與線性迴歸） 就下列兩變數的數值： 在平面畫散佈圖如下： 相關分析（Correlation Analysis） 相關分析探討兩隨機變數的關連性，其目標在於求出相關係數。 相關係數（Coefficient of Correlation） 相關係數為描述兩變數間關連性的一個測量值。相關係數的定義如下： 樣本相關係數定義如下： 迴歸係數（coefficients of regression） 簡單線性迴歸之迴歸函數的一般式為 其中，、稱為迴歸係數，Y為依變數、X為獨立變數 完全相關（perfect correlation）、零相關（zero correlation） 由定義可知相關係數的範圍 其中有三個特殊值：、、與。 當時稱為完全負相關（perfect negative correlation） 兩變數為負相關且成線性關係； 當時稱為完全正相關（perfect positive correlation） 兩變數為正相關且成線性關係； 當時稱為零相關（zero correlation） 兩變數沒有任何關係。 一般若稱為低度相關，若稱為高度相關。 範例4　（相關係數的假設檢定） 請檢定下列數值是否有相關（）： 【解】 已經計算 （基本資料為 ） (1)虛無假設為 （雙尾檢定） (2)檢定統計量 為自由度 的t分配 (3)雙尾檢定、自由度3的t分配、，拒絕區域為 (4)樣本檢定統計量值為 (5)無法拒絕虛無假設，沒有充分證據懷疑X與Y無關。 依變數（dependent variables） 迴歸分析中，我們有興趣的是依變數，又稱為相依變數、Y變數。 迴歸分析中Y變數是隨機變數，X變數不是隨機變數，因此迴歸式應寫成 其中，迴歸係數、為常數，誤差項為隨機變數。 誤差項一般假設為、的常態分配。 迴歸係數的估計量 若，，為實際觀測值（樣本），以觀測值來估計迴歸係數是迴歸分析中的首要工作。、的估計量寫成、，則以估計量寫成的迴歸式為 請注意，、是估計量，是隨機變數的函數，當然也是隨機變數。 範例5　（最小平方法估計迴歸係數） 給定 迴歸函數為 迴歸估計式為 估計誤差平方和 求、使SSE最小： 範例6　（迴歸之係數估計與檢定） 給定資料： 將資料作以下整理： 其中 計算順序為： (1)整理資料，留下兩欄； (2)算出之值； (3)完成兩欄； (4)完成ANOVA表； (5)完成迴歸分析表 其中 假設變數y、、、、間有以下關係： 其中；假設第i次，，測量到的數值分別為，測量誤差為，即 (1(8-1)) 其中假設為i.i.d.（Independent Identical Distribution，獨立且一致分配），平均數、變異數為之常態分配，即有以下性質： (1)為常態分配 (2) (3) (4) 、之期望值與變異數 令分別為某一個人與某一群體之觀