线性回归维基百科自由的百科全书跳转到导航搜索跳过字词转换.DOC

線性回歸 维基百科，自由的百科全书 跳转到： 导航, 搜索 跳過字詞轉換說明 汉漢▼▲ 為了閱讀方便，本文使用全文手工轉換。轉換內容： 大陆：方差；台灣：變異數； 當前用字模式下顯示為→變異數 顯示↓關閉↑字詞轉換說明 字詞轉換是中文維基的一項自動轉換，目的是通過電腦程式自動消除繁簡、地區詞等不同用字模式的差異，以達到閱讀方便。字詞轉換包括全局轉換和手動轉換，本說明所使用的標題轉換和全文轉換技術，都屬於手動轉換。 如果您想對我們的字詞轉換系統提出一些改進建議，或者提交應用面更廣的轉換（中文維基百科全站乃至MediaWiki軟體），或者報告轉換系統的錯誤，請前往Wikipedia:字詞轉換請求或候選發表您的意見。 在統計學中，線性迴歸是利用稱為線性迴歸方程的最小二乘函數對一個或多個自變量和因變量之間關係進行建模的一種迴歸分析。這種函數是一個或多個稱為迴歸係數的模型參數的線性組合。一個帶有一個自變量的線性迴歸方程代表一條直線。我們需要對線性迴歸結果進行統計分析。 帶有一個自變量的線性迴歸 目錄 [隐藏] 1 簡介 1.1 理論模型 1.2 數據和估計 1.3 古典假設 2 最小二乘法分析 2.1 最小二乘法估計 2.2 迴歸推斷 2.2.1 單變量迴歸 2.3 變異數分析 3 其他方法 3.1 廣義最小二乘法 3.2 總體最小二乘法 3.3 廣義線性模式 3.4 穩健迴歸 4 線性迴歸的應用 4.1 趨勢線 4.2 金融 5 參考資料 編輯] 簡介 [編輯] 理論模型 給定一個隨機樣本，一個線性迴歸模型假設迴歸子Yi和迴歸量之間的關係可能是不完美的。我們加入一個誤差項（也是一個隨機變量）來捕獲除了之外任何對Yi的影響。所以一個多變量線性迴歸模型表示為以下的形式： 其他的模型可能被認定成非線性模型。一個線性迴歸模型不需要是自變量的線性函數。線性在這裡表示Yi的條件均值在參數β裡是線性的。例如：模型在β1和β2裡是線性的，但在裡是非線性的，它是Xi的非線性函數。 [編輯] 數據和估計 區分隨機變量和這些變量的觀測值是很重要的。通常來說，觀測值或數據（以小寫字母表記）包括了n個值 . 我們有p + 1個參數需要決定，為了估計這些參數，使用矩陣表記是很有用的。 其中Y是一個包括了觀測值的列向量，包括了未觀測的隨機成份以及迴歸量的觀測值矩陣X： X通常包括一個常數項。 如果X列之間存在線性相關，那麼參數向量β就不能以最小二乘法估計除非β被限制，比如要求它的一些元素之和為0。 [編輯] 古典假設 樣本是在總體之中隨機抽取出來的。因變量在實直線上是連續的，殘差項是獨立同分佈的，也就是說，殘差是獨立隨機的，且服從高斯分佈。這些假設意味著殘差項不依賴自變量的值，所以和自變量（預測變量）之間是相互獨立的。 在這些假設下，建立一個顯示線性迴歸作為條件預期模型的簡單線性迴歸，可以表示為： [編輯] 最小二乘法分析 [編輯] 最小二乘法估計 迴歸分析的最初目的是估計模型的參數以便達到對數據的最佳擬合。在決定一個最佳擬合的不同標準之中，最小二乘法是非常優越的。這種估計可以表示為： [編輯] 迴歸推斷 對於每一個，我們用σ2代表誤差項的變異數。一個無偏誤的估計是： 其中是誤差平方和（殘差平方和）。估計值和實際值之間的關係是： 其中服從卡方分佈，自由度是n ? p 對普通方程的解可以冩為： 這表示估計項是因變量的線性組合。進一步地說，如果所觀察的誤差服從正態分佈。參數的估計值將服從聯合正態分佈。在當前的假設之下，估計的參數向量是精確分佈的。 其中表示多變量正態分佈。 參數估計值的標準差是： 參數βj的100(1 ? α)%置信區間可以用以下式子來計算： 誤差項可以表示為： [編輯] 單變量迴歸 我們以最簡單的迴歸模型. 為例，為了估計α和β，我們有一個樣本 最小二乘法就是將未知量殘差平方和最小化： 分別對α和β求導得到正規方程： 此線性方程組可以用克萊姆法則來求解： 共變異矩陣是： 平均響應置信區間為： 預報響應置信區間為： [編輯] 變異數分析 在變異數分析（ANOVA）中，總平方和分解為兩個或更多部分。 總平方和是： 其中： 同等地： 迴歸平方和是： 殘差平方和SSE是： 總平方和SST是： 判定係數R?2是： [編輯] 其他方法 [編輯] 廣義最小二乘法 廣義最小二乘法可以用在當觀測誤差具有異變異數或者自相關的情況下。 [編輯] 總體最小二乘法 總體最小二乘法用於當自變量有誤時。 [編輯] 廣義線性模式 廣義線性模式應用在當誤差分佈函數不是正態分佈時。比如指數分佈，伽瑪分佈，逆高斯分佈，泊松分佈，二項式分佈等。 [編輯] 穩健迴歸 將平均絕對誤差最小化，不同於在線性迴歸中是將均方誤差最小化。 [編輯] 線性迴歸的應