数理统计9.pptVIP

* 与回归模型有关的预备知识 多元线性回归模型 模型参数的最小二乘估计 最小二乘估计量的统计性质 多元回归分析的假设检验 预测 多元线性回归 3.2 预备知识 随机向量与随机矩阵 随机向量：k个随机变量组成的向量x=(x1,x2,…xk)’ 为随机向量。 随机矩阵：n×k个随机变量组成的矩阵为随机矩阵。 X=(xij)n×k 随机向量与随机矩阵的数学期望 Ex=(Ex1,Ex2,…Exk) EX=(Exij)n×k 协方差阵 对随机向量x，y，其协方差阵定义为： cov(x，y)=E(x-Ex)(y-Ey)’ 当x=y时，cov（x，x）称为自协方差阵，也称x的方 差阵 。记为Dx。 简单运算： 设A，B为常数据阵，X为随机矩阵，x，y为随机向量。 则： E(AX+B)=A EX +B E(AXB)=A E (X)B cov(Ax，By)=Acov(x，y)B D(Ax)=AD(x)A cov(x+y，z)= cov(x，z)+ cov(y，z) 矩阵的导数微分运算 若矩阵X=(xij)n×k中的元素xij= xij(t)，则 若向量x=(x1,x2,…xk)中分量xi= xi(t)，则 x为随机向量，若y=f(x)则 根据前述定义，可有两个推论： 1. 设a=(a1，a2，…an)’为常向量，t=(t1，t2，…tn)’为变 向量，若 ，则 。 2. A=(aij)n×k为对称常矩阵，x=(x1,x2,…xk)’为变向量， 则。 多元线性回归模型 在多元情况下，影响y变化的变量(x)有多个，他们之间的关系是相关关系。当Ey与x之间关系为线性时，可表示为： Ey=b0+b1 x1+…bkxk。 则随机变量y的结构为： y= b0+b1 x1+…bkxk+ε。 x2 x1 y ?2 ?1 b0 多元线性回归模型 对y及x1…xk进行观察，得n组样本(yi，xi1…xik)，i=1…n。若令： 则模型可表示为：y=Xb+ε。 多元线性回归模型满足以下假设 (1) Eε=0， (2) Eεiεj =0,Eεi2=σ2, 故Dε=σ2I (3) X的秩 RankX==k+1n (4) ε与X无关，即cov(ε,X)=0。 也称为线性回归模型的基本假设。 模型参数b的最小二乘估计 求对向量b的估计，其标准仍然为最小二乘法则。 即令： 为最小。与一元线性回归一样，这是一个求函数极值的问题。采用向量微分的方法，用Q对b中的每一个分量求导，并使导数等于0。形成一个方程组，解此方程组，可以求出b中每一个分量的估计。 模型参数b的最小二乘估计 用矩阵表示的最小二乘估计求解过程： 模型参数b的最小二乘估计 在一元回归模型中，最小二乘估计求出一条误差平方和最小的直线 在多元回归模型中，最小二乘估计求出一个误差平方和最小的平面或超平面 X Y x2 x1 y 一元和多元最小二乘回归 最小二乘估计的统计性质 (1)线性性： (2)无偏性： (3)有效性： 有效性的证明： 有效性的证明： ?2的估计： 迹的定义： 性质： (1)tr(A+B)=trA+trB; (2)trAB=trBA; (3)tr(cA)=ctrA， c为实数; (4)tr(x’Ax)=tr(Axx’) (5)tr(s-1As)=tr(A) (6) EtrA=trEA ?2的估计： 二元回归方程的公式 ?2的估计： Y X1 X2 X1X2 X12 X22 X1Y X2Y 72 12 5 60 144 25 864 360 76 11 8 88 121 64 836 608 78 15 6 90 225 36 1170 468 70 10 5 50 100 25 700 350 68 11 3 33 121 9 748 204 80 16 9 144 256 81 1280 720 82 14 12 168 196 144 1148 984 65 8 4 32 64 16 520 260 62 8 3 24 64 9 496 186