2 回归分析综述.ppt

多变量回归分析; ;无多重共线性，即Xi (i = 2,3, …,k )之间不存在线性关系：; 根据残差的平方和最小化的原理，解出参数的估计量。;;如果直接用矩阵微分，则;;四、OLS估计量 的性质：;第三节 拟合优度检验 一、判定系数R2：;二、校正的R2 ： 由R2的计算式可看出， R2 随解释变量的增加而可能提高（不可能降低）：;三、R2 与 的性质;检验步骤：;;第五节 解释变量的选择 在回归模型中的解释变量，除非由明确的理论指导或其他原因，在选择上具有一定的主观性，如何正确选择解释变量是非常重要的。 一、解释变量的边际贡献分析 在建立回归模型时，假定我们顺序引入变量。在建立了Y与X2的回归模型，并进行回归分析后，再加入X2。考虑加入的变量X2是否有贡献：能否再加入后显著提高回归的解释程度ESS或决定系数R2。ESS提高的量称为变量X2的边际贡献。 决定一个变量是否引入回归模型，就要先研究它的边际贡献，以正确地建立模型。如果变量的边际贡献较小，说明改变量没有必要加入模型。 分析变量的边际贡献，可以使用方差分析表为工具，根据变量引入前、后的RSS的变化量及其显著性检验（扣除原来引入模型的解释变量的贡献），确定该变量的边际贡献是否显著。 一个简单的检验方法，就是对引入新变量后的RSS增量与新的ESS的比值做显著性检验。; 可以利用方差分析表来进行分析。 设ESS为引入变量前的回归平方和，ESS’ 为引入m个新变量后，得到的回归平方和，RSS’为引入变量后的残差平方和。 ANOVA表如下：; 在新引入变量的系数为0的原假设下，;回归后，得到各回归方程的平方和;回归后，得到各回归方程的平方和：;第六节 利用多元回归模型进行预测 ;二、区间预测;非线性模型; 对于参数线性的模型，可以采用变量的直接代换，转化为参数、变量均为线性的形式进行估计。 一、倒数模型： 函数形式为：;二、对数线性模型： 通过对原模型的对数变换，函数形式可变为：;二、半对数线性模型： 模型的函数形式可变为：; 我们关于经典线性???归模型（CLRM）有如下假定： 假定1：回归模型对参数是线性的 假定2：在重复抽样中X的值是固定的（非随机） 假定3：干扰项的均值为零。即，E(ui|Xi)=0 假定4：同方差性或ui的方差相等。即 Var(ui|Xi)=E[ui-E(ui)|Xi]2 = E(ui2|Xi]2 = ?2 假定5：各个干扰项无自相关。即 Cov(ui,uj|Xi,Xj)=E[ui-E(ui|Xi) ][uj-E(uj|Xj)] = E(ui|Xi)(uj|Xj) = 0 假定6：ui和Xi的协方差为零。即 Cov(ui,Xi) = E[ui – E(ui)][ Xi – E(Xi)] = E[ui (Xi – E(Xi))] =E(ui Xi) – E(ui)E(Xi） = E(ui Xi) = 0 假定7：观测次数必须大于待估计的参数个数。 假定8：解释变量X的只要有变异性。即一个样本中，Xi不能完全相同。 假定9：模型没有设定误差。 假定10：没有完全的多重共线性，即解释变量之间没有完全的线性关系。 在现实中，以上假定不一定得到满足。本章讨论某些假定不成立时的估计问题。;第二节 多重共线性（multi-collinearity）;第三节 多重共线性的影响 一、完全多重共线性 以两个解释变量的回归模型为例，假定回归模型为：; 如果X2与X3存在完全共线性，即 则：;二、不完全多重共线性 假定X2，X3 间存在不完全多重共线性， 以离差形式表示为： 。 其中vi 为随机项。则; 显然，当解释变量X2、X3 之间的相关系数 r23 的绝对值越大，共线性程度就越高，参数估计值的方差就越大，越不准确，且随着相关系数的增大，方差以更大的幅度增加。; 在双边量回归模型中，可以直接对解释变量的相关系数进行显著性检验，以确定线性相关的程度（此时相关系数的平方等于样本决定系数）。而对于多于两个结束变量的回归模型，则不能利用俩俩相关系数来检验。 对于有多个变量的回归模型，可以采用辅助回归的方法，分别以k-1个解释变量中的第i个对其他变量进行回归，可得到k-2个回归方程