3.2多元线性回归模型参数估....pptVIP

* §3.2 多元线性回归模型的估计 估计方法：OLS、ML或者MM 一、普通最小二乘估计 *二、最大或然估计 *三、矩估计 四、参数估计量的性质 五、样本容量问题 六、估计实例 一、普通最小二乘估计 对于随机抽取的n组观测值 (Yi , X ji ), i = 1,2, , n, j = 0,1,2, k 如果样本函数的参数估计值已经得到，则 ? ? ? ? ? 有：Yi = β 0 + β1 X 1i + β 2 X 2i + + β ki X Ki i=1,2…n (3.2.1) 1、普通最小二乘估计 i ? 根据最小二乘原理，参数估计值应使得剩余平方 和达到最小， min Q = min ∑ e2 = ∑ (Yi - Yi )2 即 i + β k X ki )]2 min ∑ e2 = ∑[Yi ? (β 0 + β 1 X1i + (3.2.2) ??2∑ ?Yi ? (β1 + β2 X 2i + β3 X 3i + ... + βki X ki )? = 0 ∑ X1i ? ?)ki ? = 0 ???2∑ X ki ? ?? = 0 ?Yi ? (β 0 1 X1i + + β k X ki ) 利用微积分知识，只要求Q关于待估参数的偏导 数，并令其值为零，即 ? , k ) = 0 ( j = 0,1, ?(∑ ei2 ) ?β j 就得到待估参数估计值的正规方程组： ? ??2 ?Yi ? (β 0 + β 1 X1i + + β k X ? ? ? + β (*) ?∑ (β 0 + β 1 X1i + ?∑ (β 0 + β 1 X1i + ??∑ (β 0 1 X1i + + β 在(*)式中，移项得： ? ? ? ? 解这个k＋1个方程组成的线性代数方程组，即可 得到k＋1个待估参数的估计值 + β k X ki ) = ∑Yi + β k X ki )X1i = ∑Yi X1i + β k X ki )X ki = ∑Yi X ki β j ( j = 0,1, , k ) (3.2.3) ? ? ∑ X 1i ∑ X ?? β 0 ? ? 1 ? ∑ X 1i X ki ?? β1 ? ? X 11 ∑ X ki ?? k ? ?? X k 1 ?? β? ? 1 ?? Y1 ? ?? Y ? (3.2.3)的正规方程组的矩阵形式 ?? ? ? ?? ? = ? ? ∑ X ∑ X ∑ X ki ? n ? ? ? ∑ X ki ?? ? X 1n ?? Y2 ? ?? ? ?? ? X kn ?? n ? ki 2 1i 2 1i X 1i 1 X 12 X k 2 ? 即 (X′X)β= X′Y ? 由于X’X满秩，故有 β= (X′X) ?1 X′Y ? (3.2.4) (3.2.5) ) )? ? ? ? ? ? ? ′ ? ) ? 将上述过程用矩阵表示如下： 即求解方程组： (Y ? Xβ ′(Y ? Xβ = 0 ? β ? ? ? ? ?β (Y′Y ? 2Y′Xβ+ βX′Xβ = 0 ?β ? X′Y + X′Xβ= 0 ? X′Y = X′Xβ ?β= (X′X) ?1 X′Y 得到 于是 ?Yi ? (β 0 + β 1 X1i + + β k X ki )? = ei ∑j X ji ie = 0 对于(*)式，注意到 ? ? 用矩阵形式表示：我们可以得到正规方程的另一种形式 , k ? j = 1, 2, ?∑ ei = 0 ? ?? (3.2.6) (3.2.6)式是多元回归模型正规方程的离差形式。 ? β?1 ? ? y1 ? ? x11 x21 xk1 ? ?