多元回归分析课件.pptx

多元回歸分析

第一節多元線性回歸分析本節基本內容: 一、模型和參數估計二、模型檢驗三、多重共線性

一、模型和參數估計(一)總體回歸模型其中:因變數為隨機變數，引數為確定變數，是固定的但未知的參數，稱為總體回歸係數；稱為隨機誤差項，表示除了引數以外被忽略的或無法考慮的其他隨機的影響因素。線性：指可表述為未知參數的線性函數。

對於一個實際問題，如果我們獲得組觀測數據：則線性回歸模型可表述為一、模型和參數估計

一、模型和參數估計寫成矩陣形式為其中，為了估計模型，要求：，

一、模型和參數估計為了能對回歸模型進行假設檢驗，還需假定隨機誤差項服從正態分佈：值得注意的是，對回歸模型的解釋，主要是對參數()的解釋，的含義為保持其他引數不變，當變動一個單位時，對因變數的平均影響程度。

(二)參數估計一、模型和參數估計現實情況下，總體參數未知，一般需根據樣本資料建立樣本回歸模型，從而推斷總體模型，利用樣本資料，可以構建模型其中，是對的估計。需要指出的是，不是像那樣是固定的數值，而是隨著樣本的不同，可以有不同取值，由於樣本是隨機的，也是隨機變數。可由最小二乘法估計得到。

一、模型和參數估計最小二乘法：其原理是使殘差平方和達到最小，即達到最小。解形如下式的正規方程：

一、模型和參數估計將其寫為矩陣形式：即經過一系列求解，可得：

一、模型和參數估計上式中的估計量稱為回歸參數的最小二乘估計，具有以下的統計特性：(1)線性性。由其運算式可以看出，估計量是()的線性函數。進一步地，()在獲得具體觀測之前是隨機變數，由此來講，估計量也是隨機變數。(2)無偏性。在假定(3.6)的情況下，估計量的期望分別為總體參數。也就是說，估計量是總體參數的無偏估計。

一、模型和參數估計(3)最小方差性。在假定(3.6)的情況下，的協差陣為，()的方差是乘以正規方程係數矩陣逆矩陣中相應對角線元素。可以證明最小二乘估計量線上性無偏估計中具有最小方差。(4)正態性。在隨機誤差項服從正態分佈的假定下，還可以進一步證明最小二乘法估計量服從正態分佈，即此時，最小二乘估計是一切無偏估計中方差最小的估計。特別地，有()，其中，表示矩陣中第行第列的元素。

二、模型檢驗通常來說，模型的設定只是基於定性分析作出的假設。這種假設是否符合實際，能否得到樣本數據的支持，還需要在求出線性回歸方程後，對回歸方程進行顯著性檢驗。多元線性回歸方程的顯著性檢驗與一元線性回歸方程的顯著性檢驗思想是一致的，但也有不同之處。這裏我們介紹兩種方法，一是回歸方程整體顯著性的檢驗，另一個是回歸係數顯著性的檢驗。同時，我們還介紹度量回歸擬合程度的可決係數，並討論可決係數與檢驗的聯繫。

（一）回歸方程的顯著性檢驗回歸方程檢驗，檢驗回歸方程的回歸擬合效果是否顯著，實質是對回歸模型的整體線性關係的顯著性檢驗，即檢驗下列假設是否為真如果假設不能被拒絕，則表明隨機變數與解釋變數之間的關係由線性回歸