一元线性回归模型及多元线性回归模型对比.docx

. 一元线性回归模型 总体回归函数 E Y X )0 1 X (  多元线性回归模型 E(Y X1,X2 X k )01 X 12 X 2k X k 即 E(Y X) β X 总体回归模型 Y E(Y X) （总体回归函数的 1 X 随机表达形式） 0 样本回归模型 （样本回归函数的 Y ? ? 0 1 X e 随机表达形式） 样本回归函数 ? ? ? Y 0 1 X 给 定 一 组 容 量 为 n 的 样 本 ( X1 ,Y1 ), ( X 2 , Y2 ), ( Xi ,Yi ), ( X n ,Yn ) 则，上述式子可以写成： E(Yi X i ) 01 X i 总体回归函数 总体回归模型 Yi E(Yi X i ) i 1 X i 0 i 样本回归模型 Yi ? ? ei 0 1 X i 样本回归函数 ? ? ? Yi 0 1 X i 样本回归函数的离  Y E(Y X 1 , X 2 X k ) 0 1 X 1 2 X 2 k X k Y ? ? ? X 2 ? 0 1 X 1 2 k X k ? ? ? ? 1 X 1 2 X 2 k X k Y 0 (X11,X12, (X21,X22, 给定一组容量为 n 的样本 ( X i 1 , X i 2 , ( X n1 , X n 2 , 则上述式子可以写成： E(Yi X i 1 , X i 2 X i k ) 0 1 X i1 YiE(Yi X i1, X i 2 X i k ) i 01 X i 1 2 X i 2 k X i k Yi ? ? X i1 ? X i 2 ? 0 1 2 k X i k ? ? ? ? ? 0 1 X i 1 2 X i 2 k X i k Yi  即Y Xβ μ ? e 即Y Xβ e Y? X? 即 β X1 k ,Y1 ), X 2 k , Y2 ), ， X i k ,Yi ) X n k , Yn ) 2 X i 2 k X i k i ei ? ? 1 xi 差形式 yi 解释变量的个数 2 个： C， X （包括常数项）  ? y? xβ k+1 个： C， X1 , X 2 , X k 基本假定 假设 1： 回归模 型是正确 设定 模型设定正确假设。 的。 确定性假设。解释变量 假设 2： X 是确定性变量，不是 确定性假设。 解释变量 X 1 , X 2 , X k 是非随机或固定的， 且 随机变量，在重复抽样 ,.. . 中取固定值。 : 各 X j 之间不存在严格线性相关（无完全多重共线性）。 ① 样本变异性假 ①样本变异性假设。 设。对解释变量 各解释变量 X j 在所抽取的样本中具有变异性。 X 抽取的样本 假设 3： 观察值并不完 ② 样本方差趋于常数假设。 全相同。 随着样本容量的无限增加，各解释变量的样本方差区域 ② 样本方差趋于 一个非零的有限常数。 常数假设。 随机误差项 μ 零均值、 假设 4： 同方差、不序列相关假 随机误差项 μ零均值、同方差、不序列相关假设。 设。 假设 5： 随机误 差项与解 释变 随机误差项与解释变量不相关 。 量不相关 。 假设 :6： 正态性假设 。随机项服 正态性假设 。随机项服从正态分布 。 从正态分布 。 参数估计  一元线性回归模型 多元线性回归模型 普通最小二乘估计 OLS ）  残差平方和达到最小，得到正规方程组，求得参数的普通最小二乘估计值： xi yi 1 xi 2 ( 普 通 ? Y ? 0 1 X 最小二乘估计的离差形 式) 随机干扰项的方差的估计量 2 ?2 ei n 2  残差平方和达到最小，得到正规方程组，求得参数的普通最 小二乘估计值 β? (X X) - 1 X Y ? (x x) - 1 x y β ? Y ? ? 0 1 X1 k X k ( 普通最小二乘估计的离差形式 ) 随机干扰项的方差 ? 2 ei 2 e e n k 1 n k 1 最大似然估计 (ML) 矩估计（ MM ）  参数估计值估计结果与 OLS 方法一致， 但随机 参数估计值估计结果与 OLS 方法一致， 但随机干扰项的方差 干扰项的方差的估计量 与OLS 不 同 的估计量 ? 2 ei 2 2 n ?2 ei n ,.. 参数估计量的性质 参数估计量的概率分布 样本容量问题 统计检验 拟合优度检验 方程总体显著性检验  . 线性性、无偏性、有效 线性性、无偏性、有效性 性 ?1 ~N( 2 1 , 2 ) xi --- Xi 2 ?0~N( 0 , 2 ) xi 2 n 样本容量 n 必须不少于模型中解释变量的个数（包括常数 项），即 n k 1 才能得到参数估计值， n - k 8