5 多元线性回归分析.pptVIP

多元线性回归分析 一、多元线性回归动因 1、 将某些因素从误差项中分离出来，使估计更为准确 使零条件均值假定更能成立 2、 可以加入非线性关系 3、零条件均值假定变为对所有x的组合，误差项的期望值都为0 二、多元线性模型形式 零条件均值假定： 三、多元线性回归与一元线性回归的比较 简单回归与多元回归估计值的比较 为x2对x1的简单回归 用简单回归时 1、x1与x2不相关 2、x2对y的偏效应为0. 四、多元线性回归的向量描述 向量描述： 五、参数的估计 普通最小二乘法（OLS） 选择矩阵 最小化 最佳线性估计，唯一条件是 可逆 即非共线性假设,任何一个变量不是其它变量的线性组合 拟合值 残差： 由推导过程得出： 六、参数的解释 在其他情况不变的条件下，一种解释变量对被解释变量的影响 七、多元线性回归的矩阵描述 矩阵描述： 矩阵形式: 八、以矩阵形式估计参数 最小残差平方和： 矩阵微分公式： 系数的估计结果： 几个结果： 九、多元线性回归拟合优度 总平方和(total sum of squares)（度量了yi总样本的波动）： 解释平方和（explained sum of squares）(度量了拟合值 的波动） 残差平方和(residual sum of squares)（度量了残差的波动）： 拟合优度： 在解释变量中增加一个变量后，R2不会减少，通常都会增加。无论增加的变量是否对被解释变量有否解释能力。 用R2来判断是否在模型中应包含某变量是不适合的。 十、多元线性回归应用条件及Gauss-Markov 假设 OLS估计量的统计特征： 假设条件： 1、线性于参数 2、随机抽样 3、不存在完全共线性 4、零条件均值假设 如果满足条件4，x被称为外生变量（exogenous variable） 不满足条件4，x被称为内生变量（endogenous variable） Gauss-Markov assumption: Homoskedasticity Autocorrelation 十一、多元线性回归参数的统计特征 无偏性： 由于X与误差项是独立的 估计量的方差： （假设5：同方差假设） Rj2 为xj对其他x回归所得拟合优度 最佳线性无偏估计（best linear unbiased estimator）(BLUE) 其中线性估计量指的是估计量为y向量元素的线性组合 误差方差 的无偏估计： 平方根称作系数的标准差 估计量的分布： （假设6：误差项正态分布） 十二、模型的设定 1、模型包含无关变量 2、模型没包含有关变量，或设定不足。 为x2对x1的回归系数 遗漏变量偏误： 更一般的情况： 变量之间可能两两相关 十三、 假设检验 1、t检验 在Gauss – Markov假设和误差项正态分布假设下: Ckk为（X‘X）-1对角线的第K个元素 检验统计量： p值法：由检验统计量得到的原假设可被拒绝的最小显著性水平。 1、首先定义显著性水平，如10%，5%，1% 2、计算p值 3、p值小于显著性水平则拒绝H0 2、检验单一线性限制 是 最佳线性估计（BLUE） 检验统计量： 3、F检验; (单边检验)（联合统计显著） 不受约束模型残差平方和：S1 受约束模型残差平方和：S0 不受约束模型拟合优度：R1 受约束模型拟合优度：R0 F检验的特例： 4 通用的检验(Wald Test) 未知 ，用估计量代替 通用形式的F检验： 十四、总结 本章应掌握： 1、多元线性回归动因，应用条件。 2、多元线性回归的向量描述，矩阵描述 3、多元线性回归的参数估计 4、拟合优度，参数统计特征关系 5、参数估计量的统计特征：期望、方差、分布，以及计算。（BLUE） 6、假设检验： t检验，F检验，Wald检验 应用条件，及检验过程。 * 多元线性回归模型： 截距 斜率参数 误差项 *