多元线性回归中的参数估计.docxVIP

5.4 多元线性回归中的参数估计 多元回归模型 设自变量 x1 , x 2 , , x p 是可控变量 ( p 1) ，因变量 Y 是随机变量，它们之间具有统计相关关系，若 Y f ( x1, x2 , , xp ) ，E() 0 （5.4-1 ） 则称（ 5.4-1 ）式为 p 元回归模型。 Y 0 1x1 p xp ，E() 0 （5.4-2 ） 则称（ 5.4-2 ）式为 p 元线性回归模型。 Y 0 1x1 p xp ， ~ N(0, 2) （5.4-3 ） 则称（ 5.4-3 ）式为 p 元正态线性回归模型。 取 E (Y ) ，称 y 0 1x1 p xp 为 p 元线性回归（平面）方程。未知参数 j ( j 0,1, 2, , p) 称为回归系数。对变量 x1 , x 2 , , x p ; Y 作 n 次 （ n p ）观测，得到观测值 ( x i 1 , xi 2 , ,x ip ; Yi ), i 1, 2 , , n ，即有 观测变量 x 1 x 2 x p Y 观测次数 1 x11 x 12 x 1p Y1 y1 2 x 21 x 22 x 2p Y2 y2 n xn1 xn2 x np Yn yn 于是模型（ 5.4-3 ）又化为 Y β βx β x ε 1 0 1 11 p 1p 1 Y β βx 21 β x 2p ε 2 0 1 p 2 （5.4 Y β βx n1 β x np ε n 01 p n ε ~ N 2 且相互独立 ( 0, σ ), i 则称（ 5.4-4 ）式为 p 元正态线性回归的 观测值模型 。 为表达方便，在寻求模型（ 5.4-4 ） 式的矩阵表示，记 Y1 1 x11 x12 x1 p 0 Y2 1 x21 x22 x2 p 1 Y X ， ， ， Y 1 xn1 xn2 xnp p n 1 2 n 则模型（ 5.4-4 ）又化为 Y X ~ Nn (0, 2 I ) (5.4 6) 其中 n 维正态随机变量 的期望向量为 E(ε) 1 E(ε) E( ) 2 0 E(ε) n 协方差矩阵为 2 0 0 σ 0 2 0 σ 2 D (ε) σI 0 0 2 σ n n 显然 Y X ~ Nn ( X , 2 I ) 对于 p 元正态线性回归分析，仍有以下三方面工作： ① 估 计 未 知 参 数 j ( j 0,1, 2, , p) , 2 ； ②对模型的假设检验和对参数 j ( j 1, 2, , p) 的假设检验； ③在 x0 ( x01 , x02 , , x0 p ) 处对 y0 作预 测。 多元线性回归中的参数估计 （ 1） j ( j 0,1, 2, , p) 的最小二乘 估计 给定 xi1 , xi2 , , xip ，相应的 Yi 满足模 型（ 5.4-4），从而 Yi 0 1xi1 p xip i ~ N ( 0 1xi1 以 E (Yi ) 近似 Yi 的观测值 yi 时产生的均方 误差为 n n Q( ) 2 ( y β βx β x ) 2 i i 01 i1 p ip i 1 i 1 如有 使 Q( ) min Q( ) ，则称 为 的最小二乘估计。为求 ，令 Q n 2 ( y i β βx β x ) 0 β 0 1 i1 p ip i 1 0 Q n 2 ( y i β βx β x )x i1 0 β 0 1 i1 p ip i 1 1 Q n 2 ( y β βx i1 β x ) x0 β i 0 1 p ip ip i 1 p  2 p xip , σ ( 即 n n  n  n n β ( x ) β 0 i1 1 i 1  ( x ) β i 2 2 i 1  ( x ) β ip p i 1  yi i 1 n ( x ) β i1 0 i 1 n ( x ) β ip 0 i 1  n ( x 2 ) β ( i1 1 i 1 n ( xip xi1 ) β1 i 1  n x x ) β i1 i 2 2 i 1 n ( xip xi 2 ) β2 i 1  n ( xi1 xip ) i 1 n ( xip2 ) i 1  n β x y p i1 i i 1 n β x y p ip i i 1 5.4-8）式称为正规方程组。其矩阵形式为 n n n n xi1 xi 2 xip β 1 1 1 n i 1 i 1 i 1 0 n 2 n n β xi1 xi1 xi 2 xi1 xip x11 x21 x31 xi1 1 i 1