第3章多元线性回归2017.pptVIP

第三章 线性回归 （多元） 在许多实际问题中，和某一变量y有关系的变量不只是一个，而是多个，譬如共是p个：x1，x2，…，xp，研究变量y与变量x1，x2，…，xp之间的定量关系的问题称为多元回归问题。 本节着重讨论简单而又一般的多元线性回归问题，因为许多多元非线性回归问题都可以化为多元线性回归问题，多元线性回归分析的原理与一元线性回归分析完全相同，只是在计算上要比一元线性回归分析复杂得多。 多元线性回归 多元线性回归的数学模型 多元线性回归的数学模型 多元线性回归的数学模型 Y=X?＋? 2 参数?的最小二乘估计 =(Y-X?)’(Y-X?)=最小。 2 参数?的最小二乘估计 2 参数?的最小二乘估计 2 参数?的最小二乘估计 2 参数?的最小二乘估计 2 参数?的最小二乘估计 2 参数?的最小二乘估计 最小二乘估计式是参数?的无偏估计量 回归系数b的相关矩阵等于?2 与系数矩阵的逆矩阵C的乘积 3 线性回归数学模型的其它形式 4 回归方程的显著性检验 在实际问题中，事先我们并不能断定随机变量y与一般变量x1，x2，…，xp 之间是否确有线性关系。在求线性回归方程前，线性回归模型只是一种假设，尽管这种假设常常不是没有根据的，但在求出线性回归方程后，还是需要对其进行统计检验，以给出肯定或否定的结论。为此，我们需要把总的平方和进行分解。 4 回归方程的显著性检验 4 回归方程的显著性检验 4 回归方程的显著性检验 4 回归方程的显著性检验 重复性实验、拟合程度检验参见一元回归 来源 平方和 自由度 均方和 F比 回归 p 剩余 N－p－1 ---- 总计 N－1 ---- 5、回归系数的显著性检验 在多元回归模型中，一般并不满足于线性回归方程是显著的这个结论，因为回归方程显著并不意味着每个自变量x1，x2，…，xp对因变量y的影响是重要的。而人们总想从回归方程中剔除那些次要的、可有可无的变量，重新建立更为简单的线性回归方程，以利于更好地对y进行预报和控制。 显然，如果某个变量对y的作用不显著，那么在多元线性回归模型中，它前面的系数 ?j 就可以取值为零，因此，检验因子xj 是否显著等价于检验假设 H0： ?j=0。 最小二乘估计bj是服从正态分布的随机变量y1，y2，…，yN的线性函数，所以，bj也是服从正态分布的随机变量，且 E(bi)= ?j， D(bi)=cjj?2 。 其中cij为相关矩阵C=A-1中对角线上第j个元素，于是 ～N(0，1) ， ～F (1，N－p－1) ～t ( N－p－1) 应该指出：从回归方程中剔除一个变量，譬如是xi，这决不意味着把bi xi项从回归方程中拿去就完事了，而是应该从p－1个变量： x1，x2，…，xi-1，xi+1，…，xp 着手，重新估计出回归系数，写出新的回归方程 其中 (j?i) 是新的回归系数，一般地说 bj* ?bj。这是因为回归系数之间存在着相关性， 一般，对回归系数进行一次检验后，只能剔除其中一个因子，这个因子是所有不显著因子中F值或t值为最小的，然后重新建立新的回归方程，再对新的回归系数逐个进行检验，直到余下的回归系数都显著时为止。 6 利用回归方程进行预报和控制（略） 数学模型 最小二乘估计 回归方程显著性检验 重复试验 拟合性检验 回归系数的显著性检验 有效的回归方程 * *