第二章经典多元线性回归模型.pptx

1 第二章 经典多元线性回归模型 2 第一节、多元线性回归模型 1、回归的含义 “回归”的本意：向“均值”回复的趋势 回归的现代意义(Regression Analysis)：估计和预测被解释变量的均值，是研究被解释变量对于解释变量依赖关系的计算方法和理论。 3 设 系统因素 无信息时对随机变量的预测：均值 有信息时对随机变量的预测：条件均值 2、多元线性回归模型的统计学解释 随机因素 (随机扰动项) 4 此即为多元线性总体回归模型。 若设： 则得： 称 为多元线性总体回归函数。 5 计量经济学模型引入随机扰动项的原因： 反映影响被解释变量的未知因素； 代表数据观测误差； 反映影响被解释变量的个体因素； 6 用上述样本得总体回归函数 得多元线性样本回归函数： 中的参数的估计： 定义残差： 称 为多元线性样本回归模型。 3、总体与样本（Population and Sample） 样本 7 第二节、多元线性回归模型的估计 一、普通最小二乘法（OLS） 8 若得到样本回归函数,记 最小二乘原理： 9 称此方程组为为正规方程组 10 记： 则多元线性总体回归模型 可表示为： 11 则多元线性样本回归函数： 可表示为： 记： 12 可以表示为 残差： 此时，多元线性样本回归模型： 可以表示为： 记残差向量为 13 由上述正规方程组 变形得： 14 15 正规方程组的矩阵形式: 利用前述引入的记号X,得 16 多元线性回归模型参数普通最小二乘估计与参数的关系： 残差向量： 17 普通最小二乘估计的残差平方和： M为对称幂等矩阵 记： 18 由正规方程组得，多元线性回归模型参数普通最小二乘估计残差的性质： 19 二、经典多元线性回归模型的基本假定 假设1，所有解释变量之间互不相关（无多重共线性）。 假设2，随机扰动项具有零期望、同方差序列不相关。 20 假设3，解释变量与随机项不相关 假设4，随机扰动项满足正态分布 假设5，线性模型设定是正确的。 21 用矩阵表示上述假设 假设1相当于矩阵X的秩R=k+1，即X满秩， 假设2：零期望相当于 U的方差协方差矩阵定义： 可逆 同方差、不相关相当于U的方差协方差矩阵V-COV（U） 22 假设4，向量U 服从多维联合正态分布，即 假设3相当于，E(X’U)=0 23 若多元线性回归模型经典假定成立，则 24 若多元线性回归模型经典假定成立，普通最小二乘估计的分布 （1）参数普通最小二乘估计的方差与分布 25 此时， 为矩阵 第j+1列第j+1行元素。 26 （2）随机扰动项方差估计的分布 三、多元线性回归模型的极大似然估计。 若前述经典假设成立，则 可得： 其中： 似然函数为 极大似然估计的结果与OLS估计相同。 29 在满足基本假设的情况下，多元线性模型参数的普通最小二乘估计具有线性性、无偏性、有效性。 同时，随着样本容量增加，参数估计量具有一致性。 四、参数估计量的性质 30 1、线性性 其中,C=(X’X)-1 X’ 为一仅与X有关的矩阵。 2、无偏性 31 3、证明有效性，设 是 的任一线性无偏估计，则存在某矩阵C*,使 32 可得： 33 的方差协方差矩阵为： 证毕 34 同时，当线性回归模型经典假定成立时，参数的普通最小二乘估计量是一致估计。 35 1、最小样本容量 所谓“最小样本容量”，即从最小二乘原理和最大似然原理出发，欲得到参数估计量，不管其质量如何，所要求的样本容量的下限。 样本最小容量必须不少于模型中解释变量的数目（包括截距项）,即 n  k+1 五、样本容量问题 36 2、满足基本要求的样本容量 从统计检验的角度： n30 时，Z检验才能应用； n-k8时, t分布较为稳定 一般经验认为: 当n30或者至少n3(k+1)时，才能说满足模型估计的基本要求。 当样本容量较大时，模型普通最小二乘估计的性质才比较好。 37 第三节、多元线性回归模型的统计检验 Statistical Test of Multiple Linear Regression Model 38 一、拟合优度 1、可决系数与调整的可决系数 记 总离差平方和（Total Sum of Squares） 回归平方和（Explained Sum of Squares） 残差平方和（Residual Sum of Squares ） 总离差平方和的分解 39 TSS=ESS+RSS 可证明： 40 可决系数（ Coefficient of Determination ）：复相关系数。 该统计量越接近于1，模型的拟合优度越高。 可决系数的缺点与调整 41 调整的可决系