5.4多元线性回归中参数估计.docVIP

§5.4 多元线性回归中的参数估计 多元回归模型 设自变量是可控变量，因变量是随机变量，它们之间具有统计相关关系，若 ， （5.4-1） 则称（5.4-1）式为元回归模型。 ， （5.4-2） 则称（5.4-2）式为元线性回归模型。 ， （5.4-3） 则称（5.4-3）式为元正态线性回归模型。 取，称为元线性回归（平面）方程。未知参数 称为回归系数。 对变量;作次（）观测，得到观测值，即有 观测变量 观测次数 1 2 n 于是模型（5.4-3）又化为 则称（5.4-4）式为元正态线性回归的观测值模型。 为表达方便，在寻求模型（5.4-4）式的矩阵表示，记 ，，， 则模型（5.4-4）又化为 其中维正态随机变量的期望向量为 协方差矩阵为 显然 对于元正态线性回归分析，仍有以下三方面工作： ①估计未知参数,； ②对模型的假设检验和对参数的假设检验； ③在处对作预测。 多元线性回归中的参数估计 （1）的最小二乘估计 给定，相应的满足模型（5.4-4），从而 以近似的观测值时产生的均方误差为 如有使，则称为的最小二乘估计。为求，令 即 （5.4-8）式称为正规方程组。其矩阵形式为 即 亦即 （5.4-9）称为正规方程。当可逆时，有 其中称为经验回归常数；称为经验回归系数；元线性方程 （5.4-11）式称为经验回归平面方程。 由正规方程组（5.4-8）式中的第一个方程 可得 即与有关，上式代入（5.4-11）式，得 故维的点总位于经验回归平面上。 （2）的矩估计 将（5.4-10）式中的代入的表达式时，得到，称之为残差平方和或剩余平方和。 故 由矩法知，的矩估计为 （3）多重相关系数 令 其中 称多重相关系数。越接近1时，越接近0，说明线性回归的效果越好；特别，当时，，说明观测点 全部落在经验回归平面上。 例5.4-1 根据经验，在人的身高相等的条件下，其血压与体重，年龄有关，现有如下13组观测数据： 观测次数 体重 年龄 血压 1 152 50 120 2 183 20 141 3 171 20 124 4 165 30 126 5 158 30 117 6 161 50 125 7 149 60 123 8 158 50 125 9 170 40 132 10 153 55 123 11 164 40 132 12 190 40 155 13 185 20 147 试求关于，的线性回归方程。 解：①设回归模型为，，记 ②求解经验回归系数 MATLAB 程序： x1=[152 183 171 165 158 161 149 158 170 153 164 190 185]; x2=[50 20 20 30 30 50 60 50 40 55 40 40 20]; x=[ones(1,13);x1;x2]; y=[120 141 124 126 117 125 123 125 132 123 132 155 147]; b=inv(x*x)*x*y b = -62.9634 1.0683 0.4002 即有 所求经验回归平面为 ③经验回归平面图形 MATLAB 程序： plot3 (x1,x2,y,ro) grid hold on [X1,X2]=meshgrid(x1, x2); y1=-62.9634+ 1.0683 *X1+0.4002*X2; mesh(X1,X2,y1) 图5.4-1 散点图与经验回归平面 图中视线被遮住的部分没有显示，若再键入命令hidden off，则被遮住的部分会同时显示。 hidden off 图5.4-2 散点图与经验回归平面 ④求的矩估计、多重相关系数 MATLAB命令： n=length(y); q=(y-x*b)*(y-x*b); sigma2=q/n sigma2 = 6.2639 r=sqrt(1-q/(n*var(y,1)) r = 0.9727 即, . 多项式回归——一元非线性回归化为多元线性回归 多项式回归模型为： 令，则模型化为元线性回归模型（5.4-3） 注：多项式回归一般在的情况下使用，当时称为抛物线回归。 已知废品率与化学成分有统计相关关系，现有试验数据如下： 化学成分 34 36 37 38 39 39 39 40 废品率 1.30 1.00 0.73 0.90 0.81 0.70 0.60 0.50 化学成分 40 41 42 43 43