[工程科技]多元线性回归.ppt

多元回归和相关 1、多元线性回归的意义 多元线性回归是一个变量与多个其它变量之间发生的线性关系（一般称为一对多的关系）。在农业和工业及其它领域中应用十分广泛。 e.g. 作物产量的高低，与播种期、密度、施肥等人为因素有关，也与气温、雨量、辐射量等自然因素有关；某种害虫的发生，与其生态因素温度、温度、雨量等有关，也与上代遗留因素、食物的多少、繁殖率等有关。食品中某种饮料质量，与内容物含量（果汁、蛋白质含量），水质、支撑剂、甜味剂等有关。 多元回归由于引进了多个自变量，则依变量对回归估计值的离散程度将进一步缩小，精度进一步提高。 我们在多元分析中需要解决的问题包括： ① 确定各个自变量对某一依变量的各自效应，即分别算出某一自变量（在其它自变量皆保持一定数量水平时）对依变量的效应。这个效应叫做偏回归系数（partial regression coefficient）。 ② 确定各自变量对于某一依变量的综合效应，即建立由各自变量描述和预测依变量反应量的多元回归方程，并求得该方程的标准误。 ③ 在大量的自变量中，选择仅对依变量有显著效应的自变量，建立最优的多元回归方程（逐步回归）。 ④ 评定各个自变量对依变量的反应量的相对重要性，以利于抓住关键因素，达到调整和控制依变数反应量的目的。（通径分析） 2、多元线性回归模型 =其中，μy，μ1，μ2…μm，依次为 y, x1, x2, …, xm的总体平均数。 α为当x1, x2, …, xm皆取值为0时，依变数y的点估计值（这里是总体理论值） 因此，把前式改为样本模型：则 3、多元线性回归正规方程组的解 根据回归的定义，要满足前式“*”，求出统计数bi (i=1, 2,…, m)，则需满足残差平方和 引进新变量，令Y=y- , xi = xi - (i=1, 2, …, m) 则上式变为 A为一个m行m列方阵，并定义： 则前面m元线性回归的正规方程组可以记为矩阵形式： AB＝K 我们的目的，是要解出矩阵B中的m个元素b1, b2, …, bm, 要达到此目的，一般解法是先求出A的逆矩阵A-1，假定为C′， A-1= C′= (Cij)mxm＝ 逆矩阵A-1满足A-1A = AA-1= I，I是一个m 阶单位矩阵，也可记为Im 即A-1左乘K 。 逆阵A-1各值的作用较大，在今后的多元回归假设测验和逐步回归中剔除自变量等，都要用到。 求逆矩阵A-1可使用A-1=C′= 其中Aij是aij的代数余子式，|A|是矩阵A的系数行列式（须满足|A|≠0，即满秩，这样A-1才存在）。 三、多元回归的假设测验 因此，要正确地评定各自变数xi 对y是否有真实的回归关系，还必须逐一地对偏回归系数作显著性测验，去发现βi =0的自变量。一般来说，只有当多元回归方程中包含的自变量的偏回归系数都显著时，多元回归关系测验的F 值才有实际意义。 四、偏回归系数的假设测验 逐步回归分析 2、逐步淘汰不显著自变数的回归方法 3、逐步选入显著自变数的回归方法 2、例：前面已得多元回归方程 ?=-49.4104+1.9394x1+0.6632x2 +7.3137x3+0.0482x4 =2.013139×80.56+0.674643 ×3.273333+7.830227×7.206=220.8114 =239.8893-220.8114=19.0779 故得三元回归和偏回归假设测验。 可见三元回归和三个自变数的偏回归都是极显著或显著。因此不需要作第三步回归。因此可得， a= -b1 -b2 -b3 =14.473333-2.013139×9.4-0.674643×21.933333-7.830227×3.54=-46.9663 所以可得最优线性回归方程： ＝－46.9663+2.01314x1 +0.674643x2+7.83023x3 而这个方程的离回归标准误为： 3、逐步选入显著自变数的回归分析 第i变数和第j 变数的乘积和 （Spij）被标准化为： 为了便于计算，可以在该阵上添加一行（ry1, ry2, …ryy），得到一个m+1阶方阵R(0)： 例：从原资料选择y依x的最优回归方程。 =1-(-0.135742)(-0.135742)/1=0.981574 通径分析——多元回归中自变量的相对重要性 x2，即每穗小穗数，对产量的直接作用最小，p2→y=0.1993且它对x1和x3都有间接的负作用（虽然负值很小）。这一分