多元线性回归模型要点讲解.doc

统计学第章 多元线性回归模型 第1节 多元线性回归模型概述 （一）多元线性回归模型形式 一般来说，我们研究的变量往往受多个因素的影响，如作物的收成会受气温，施肥量，降雨量等等的影响，对某中商品的消费需求会受该商品价格，收入，其他商品价格等的影响。因此，我们要讨论一个变量对两个以上变量的统计依赖关系。 1）多元线性回归模型的一般表现形式： ， 其中，为解释变量的数目， 习惯上，把常数项看成为取值恒为1的变量的系数，上述表达式也被称为总体回归函数的随机表达形式。其非随机形式为： 表示各变量值固定时的平均响应 也称为偏回归系数，表示在其他解释变量保持不变的情况下，每变化一个单位时，的均值的变化。或者说给出了单位变化对均值的“直接”或“净”（不含其它变量）影响。 总体线性回归模型个随机方程的矩阵表达式为： 将此方程组写成矩阵形式： 简写为： 2）样本回归函数及其矩阵表达 用一定的方法对,,…,估计后， 残差： 样本回归方程的随机形式可表示为： 则其矩阵表达为： 或 其中 ， ， （二） 多元线性回归模型的基本假定 与之间的关系是线性的 , 即是参数的线性函数。 2. 是的满列秩矩阵（），即 在实际中，为满足数据需要，至少要大于等于，若比较合适。上述假设表明之间不存在完全或高度共线性。 零均值假设 对于，，任何当期不影响期望值。 对于，，任何前、后期也不影响期望值。 所有的的观测值都不能为的期望值提供额外的信息。否则，用估计出的不会是最佳无偏估计量。 同方差 对于任意的，有 不同观测值的误差项不相关 对于任意的, ， 上面4，5两条可以归纳为： 正态性假设 误差项服从正态分布,即 3、4、5、6可以归纳为： ； 是常数阵，即非随机 另外，非随机,即意味着， 与不相关。则的分布取决与的分布。 未知参数的个数（）共个 第2节 多元线性回归模型的参数估计 参数的最小二乘估计（） 同一元线性回归模型一样，估计准则仍为“最小离差平方和”。即寻找一组估计量使其满足： ，即 设 根据正规方程得： ，列满秩为满秩方阵，且对称。故正定。 矩阵求导： 方阵，列向量，列向量，那么有： ，若为对称阵，则为 注意：由正规方程可得： ，因为 因此，，具体为： 其中成立的条件为要有常数项 其他等式意味着，残差与各解释变量不相关。 参数的最小二乘估计量的性质 高斯-马尔可夫定理：在假设1~5成立的条件下，模型的各回归系数的估计量是最佳线性无偏估计。 1线性： 常数+扰动项的线性函数。 2无偏性： 3最小方差性： 对求期望，不但求出了各参数估计值的方差，且给出了不同参数估计量之间的协方差。 任取一无偏估计，其中矩阵 定义，所以。值得注意： 其中非负定。 最小二乘解的代数特征： 设：总体，样本 ，其中 （四）的估计 可以证明，的无偏估计为： 证明： 扰动项标准差的估计为： （五）样本容量问题 1）最小样本容量： 从最小二乘原理出发，欲得到参数估计量，不管其性质如何，所要求的样本容量的下限。 样本最小容量必须不少于模型中结实变量的数目（包括常数项），即 我们来看一下正规方程组： 此方程组有解，必须有存在。其中，秩，若，则，秩，则不存在。 2）从统计检验的角度来看： 时，正态性检验才能应用。 时，分布较为稳定。 一般的经验认为：当或至少时，才能满足模型估计的需要。 第3节 多元线性回归模型的统计检验 回归系数的显著性检验 ；； 1）已知：，其中，。 2）未知：构造 检验步骤： 写出原假设和备择假设： ；； 构造检验统计量： 一般来说，未知，因此，我们选择构造： 对于给定的显著性水平 ，查表求临界值 计算与判断 求出的样本值，若，则拒绝；反之则接受。的分布 ，服从正态分布 的分布 与独立 ， 因为，令，所以与独立。 If x ~N[0, I] and A is idempotent, then x_Ax has a chi-squared distribution with degrees of freedom equal to the number of unit roots of A, which is equal to the rank of A. 推论 If x ~N[0, I] and x’Ax and x_Bx are two idempotent quadratic forms in x, then x’Ax and xBx are independent if AB = 0. 若，A is idempotent，，则与相互独立。 参数的置信区间 同一元线性模型一样，参数的置信区间的构造方法如下： 构造枢轴函数： 对给定的置信水平 解不等式，求得的置信水平为的置信区间： 注：