ii多元个回归63-72.docVIP

PAGE PAGE 72 §5.2 多元线性回归 在多元回归分析中，多元线性回归为最简单、应用最广的一种方法． 多元线性回归模型： 随机变量与自变量满足 　　　　即：　称为多元线性回归模型． 为了讨论多元线性回归方程的求法，先看： 二元线性回归方程的求法： 在（＊）中，取，有：与满足 即有　二元线性回归模型． 　若有ｎ样本 可通过　构造　　， 并令　　　 由（1）得　　代入(2)(3) 得： 有正规方程组 即： 所以 由 ， 得 回归方程 ． 注：在实际计算中，通常使用如下的标准形式： 　　　； ； ； ；　 　　 ． 推导过程与前面的的推导过程类似． 一般地： 用的标准表达式的推广，可解决多元回归的系数求解问题． 三．多元线性回归： ｍ元线性回归模型为： 对于ｎ个样本 构造　　 令 有： 由　　 　 例：（P.341）在平炉炼钢中，由于矿石与炉气的氧化作用，铁水的总含碳量在不断降低，一炉钢在冶炼初期总的去碳量与所加的两种矿石的量及熔化时间有关．经实测某号平炉的49组数据如下表所列： 由经验知与,之间有线性相关关系， 　　　　　　． 　　试由给出的数据求出的最小二乘估计，并写出回归方程． 解：正规方程组为： 　而　； ； ； ； ； ； ；　 　　 ； ． 将以上结果代入正规方程组，可解得：；；； 　　　　且　　． 　所以　求得的回归方程为：　． 方程的含义很明确． 如：表示第一种矿石每增１，铁水的平均去碳量就增0.1604． 多元线性回归效果的显著性检验： 基本思想与一元线性回归的检验类似，即： 在求回归方程之前，首先应解决与是否存在线性相关关系． 亦即：是否满足　 检验问题是：， 　　　　　当拒绝时，则认为与存在线性相关关系． 理论过程仍然是通过分解　 　　　　即：． 由一元情况的推广，在ｍ元线性回归模型中，有以下结论： 　　　①　为真时，，且　相互独立； ②　，　 则定义　，有：　（无偏）　 ③ ，且与相互独立． 所以　当为真时，（由①、③）有： 　则对于，用　，有检验法： 　　　　　　　当　　时，拒绝　． 各自变量的显著性检验，剔除变量计算： 为了预测和控制的需要，应该说回归方程中的自变量的个数越少越好．这意味着只 对整个方程作显著性检验（显著拒绝，即不全为零）是不够的． 最好能找出各中哪个次要、对的影响不显著．然后把该变量剔除．即： 　　　对　，检验 　　若接受，则剔除；　　若拒绝，则保留． 　可以证明：在为真时,有： 其中　为正规方程组的系数矩阵的逆阵的对角线上第个元素． 　　　所以　对，取 　　　　　　　　若　，则拒绝．认为对的影响显著． 　　　故　将的值排为，若，则无剔除的自变量； 若，则把对应的自变量剔除，再将原回归方程 的系数, 得 新的方程 ，然后对新的回归方程再重复上述过程，直至把 对影响不显著的全部剔除，最后所得回归方程中的每一个对的影响都是显著的． 多元回归的预测与控制： 　 １．预测： 点预测：设 分别 取 ， 则对应的有　 取的预测值为： 有，即：为的无偏估计． 区间预测： 可以证明： 　　　其中　　，　　为的元素． 所以　对于 ，可得的预测区间为：， 其中　 但在通常情况下，习惯在ｎ很大，且下讨论，这时 　即有：的预测区间近似地为：． ２．控制： 　　　它是预测的反问题．　即：为使　， 有：，， 即： 所以　的控制域为： 当ｎ较大，且控制区域的点在点附近时， 则　近似地有的控制域： 最优回归方程的选择： 在预测和控制中，总是希望使用最优的回归方程． 即：使用　① 含所有对有影响的自变量； ② 含自变量的个数尽量少（不显著的先剔除）的回归方程，然后还应考 虑 使的估计值最小． 基于这种思路，下面介绍三种选择方法的基本思想（实际应用时，有现成的应用软件） 　１．“全部比较”法：　（基于最小） 　　　　　先找出对有影响的所有，考虑： 含一个自变量的方程，…，　共个； 含二个自变量，…，共个； 　　　　　　　　　　　　　　 含ｍ个自变量的所有组合形式的回归方程的个数为：个． 　　共有个不同的线性回归方程． 对每个方程都算出 ，　其中　 为该方程自变量的个数； 为样本容量． 　　然后选出 所对应的回归方程 作为最优回归方程．（繁 对，已经 可在计算机上实现） 　２．“只出不进”法：　　（基于自变量个数最少） 　　　　　找出全部的，建立含全部的一个回归方程； 　　　　　对该方程作显著性检验．若显著，再对每个自变量进行检验，进而逐个剔除 对影响不显著的（过程是：剔除一个，作出新方程后经过检验再剔除另一个），直至得到每个对都有显著影响的最优回归方程为止． 　３．逐步回归法：　　　　（基于相关系数，即：各对的影响程度）