3多元线性回归模型.pptVIP

第三章 多元线性回归模型 模型的建立及其假定条件 最小二乘法 最小二乘估计量的特性多元线性回归模型的预测 可决系数 显著性检验与置信区间 预测 案例分析 模型的建立及其假定条件 基本概念 多元线性回归模型的基本假定 基本概念 多元线性回归模型:表现在线性回归模型中的解释变量有多个。一般形式： 基本假定 假设1 随机误差项具有零均值 假设2 随机误差项具有同方差 假设3 随机误差项不序列相关性 基本假定 假设4 n?(k+1)矩阵X是非随机的，且X的秩?=k+1，即X满秩。解释变量与随机项不相关E(X’U)=0 3.2 最小二乘法 参数的最小二乘估计 随机误差项的方差 的估计量 参数的普通最小二乘估计 对于随机抽取的n组观测值 第三节　参数估计量的性质 在满足基本假设的情况下，其结构参数?的普通最小二乘估计具有： 线性性、无偏性、有效性。 第四节 可决系数 总离差平方和的分解 多元样本可决系数 修正样本可决系数 总离差平方和的分解 第五节　显著性检验与置信区间 方程的显著性检验，旨在对模型中被解释变量与解释变量之间的线性关系在总体上是否显著成立作出推断。 2、关于拟合优度检验与方程显著性检验关系的讨论 ３解释变量的显著性检验（t检验） 方程的总体线性关系显著?每个解释变量对被解释变量的影响都是显著的 3参数的置信区间 参数的置信区间用来考察：在一次抽样中所估计的参数值离参数的真实值有多“近”。 在变量的显著性检验中已经知道： 第六节　预测 点预测 区间预测 E(Y0)的预测区间 Y0的置信区间 如果已经知道实际的预测值Y0，那么预测误差为： 第七节　案例分析 因此，可构造如下t统计量 设计原假设与备择假设： H1：?i?0 给定显著性水平?，可得到临界值t?/2(n-k-1)，由样本求出统计量t的数值，通过 |t|? t?/2(n-k-1) 或 |t|?t?/2(n-k-1) 来拒绝或接受原假设H0，从而判定对应的解释变量是否应包括在模型中。 H0：?i=0 （i=1,2…k） 2、t检验 一方面，t检验与F检验都是对相同的原假设H0：?1=0 进行检验; 另一方面，两个统计量之间有如下关系： 一元线性回归中，t检验与F检验一致 容易推出：在(1-?)的置信水平下?i的置信区间是 其中，t?/2为显著性水平为? 、自由度为n-k-1的临界值。 增大样本容量n，因为在同样的样本容量下，n越大，t分布表中的临界值越小，同时，增大样本容量，还可使样本参数估计量的标准差减小； 提高模型的拟合优度，因为样本参数估计量的标准差与残差平方和呈正比，模型优度越高，残差平方和应越小。 提高样本观测值的分散度,一般情况下，样本观测值越分散，(X’X)-1的分母的|X’X|的值越大，致使区间缩小。 如何才能缩小置信区间？ 对于模型 给定样本以外的解释变量的观测值X0=(1,X10,X20,…,Xk0)，可以得到被解释变量的预测值： 它可以是总体均值E(Y0)或个值Y0的预测。 但严格地说，这只是被解释变量的预测值的估计值。 为了进行科学预测，还需求出预测值的置信区间，包括E(Y0)和Y0的置信区间。 易知 容易证明 于是，得到(1-?)的置信水平下E(Y0)的置信区间： 其中，t?/2为(1-?)的置信水平下的临界值。 容易证明 * i=1,2…,n 其中:k为解释变量的数目，?j称为回归参数。习惯上：把常数项看成为一虚变量的系数，该虚变量的样本观测值始终取1。这样模型中解释变量的数目为（k+1） 也被称为总体回归函数。 被称为多元总体线性回归方程,简称总体回归方程。方程表示各变量X值固定时Y的平均响应。 ?j也被称为偏回归系数，表示在其他解释变量保持不变的情况下，Xj每变化1个单位时，Y的均值E(Y)的变化; 或者说?j给出了Xj的单位变化对Y均值的“直接”或“净”（不含其他变量）影响。 总体回归模型矩阵表达式为 Y=Xβ+U 其中 总体回归模型矩阵表达式 样本回归函数用来估计总体回归函数 其中的 ei为残差。 样本回归函数的矩阵表达为 其中： 称 样本回归函数 假设6，随机项满足正态分布 假设5 解释变量之间不存在完全线性关系 如果样本函数的参数估计值已经得到，则有： i=1,2…n 根据最小二乘原理，参数估计值应该是下列方程组的解 其中 于是得到关于待估参数估计值的正规方程组： 正规方程 即 由于X’X满秩，故有 正规方程组的矩阵形式 将OLS过程用矩阵表