古典线性回归模型培训课件.pptVIP

二、多重共线（二） 两种情形 （1）拟合优度等于1 （2）拟合优度接近于1 工资模型 Wi=a+b1Si+b2Ei+b3Ai+b4Ui+ui （1） 其中Wi=工资， Si=学校教育， Ei=工作年限，Ai=年龄，Ui=是否参加工会。这是一个典型的多重共线问题。用年龄学龄和工龄进行回归，会得到拟合优度R2=1，因为： Ai=7+Si+Ei （2） 解决办法：将（2）式代入（1）式，将消去Ai ，消除了模型中的完全线性关系，就消除了多重共线。 Wi=（a+7 b3）+（b1+ b3）Si+（b2 + b3 ）Ei+ b4Ui+ ui 只需估计：Wi=c+dSi+eEi+fUi+ ui 消除多重共线的方法之一 找出模型中的完全线性关系，拟合优度（复相关系数）=1 利用完全线性关系代入待估计模型 消去（删除）共线变量，从而消除多重共线关系 即复相关系数=1，应考虑删除变量；反之复相关系数远远地小于1，则应在模型中加入新的自变量 为了优化模型在变量选择上：删除或加入变量 １、变量的误删的定义 在模型中本应包括这个变量因为R2==1，为了消除多重共线，我们将这个变量从模型中删除了，此时称为变量误删。 因此，原模型是正确的，删除变量后的模型是错误的。 结论 最小二乘估计量是线性、无偏估计量（高斯-马尔科夫定理将证明它们是有效估计量）。 第三节　高斯－马尔科夫定理 一、高斯－马尔科夫定理基本概念 二、以模型：yi=a+bxi+ui 为例证明高斯－马尔科夫定理 1、顺证明 2、逆证明——构造法证明 一、高斯－马尔科夫定理基本概念 高斯-马尔科夫定理 对模型：yi=a+b1xi1+b2xi2+b3xi3+??????＋bkxik+ui ui服从i.i.d(0,?2),最小二乘估计a^,b1^,b2^, ??????,bk^是a,b1,b2, ??????,bk最好的，线性的，无偏的估计量。 所谓最好的估计量，是指估计量中的方差最小的那个估计量。即最小二乘得到的估计量在所有线性、无偏估计量中，它的方差最小。 所谓无偏估计量，是指估计量的数学期望等于真实值。 所谓线性估计量，是指估计量与yi存在线性关系——估计量是yi的线性组合。 二、以模型：yi=a+bxi+ui为例证明高斯－马尔科夫定理 1、线性的 2、无偏的 3、最好的——一切线性无偏估计量中最小二乘估计量的方差最小 1、最小二乘估计量是线性的 2、最小二乘估计量是无偏的 3、最小二乘估计量方差最小的顺证明（思路） 因为最小二乘估计量是线性的，设有一个任意的不等于最小二乘估计量的线性的无偏的估计量（为什么只是在LS估计量上加一点或减一点呢 ？） 如果证明这个任意的线性无偏估计量的方差大于最小二乘估计量的方差 那么，最小二乘估计量的方差就是一切线性无偏估计量中方差最小的，因而也是最好的 3、最小二乘估计量方差最小的顺证明  （必须满足的条件） 3、最小二乘估计量方差最小的顺证明 （结论） 4、最小二乘估计量方差最小的逆证明——构造法证明 1、思路 2、利用拉格朗日条件极值法，使构造出来的估计量的方差满足最小 3、对比条件极值结果与最小二乘估计量进行比较==最小二乘估计量的方差最小 4、最小二乘估计量方差最小的逆证明 —构造法证明（思路） 1、依据线性特性构造一个线性的估计量（ yi的线性组合） 2、构造出来的估计量必须满足无偏的条件 3、通过拉格朗日条件极值法，在满足2、给出的条件下，求估计量方差的极值（最小） 4、用3、得到的结果与LS估计量进行比较 5、结论——LS估计量的方差最小 2、最小二乘估计量方差最小的逆证明—（构造一个线性估计量） 4、最小二乘估计量方差最小的逆证明——（拉格朗日条件极值）1 4、最小二乘估计量方差最小的逆证明——（拉格朗日条件极值）2 4、最小二乘估计量方差最小的逆证明 ——（拉格朗日条件极值）3 统计计算中的技巧之一 统计计算中的技巧之二 第四节　高斯－马尔科夫定理再探 问题的提出 探索规律的一般方法：观察==鉴别差异==寻找产生差异的原因——得到（因果）规律==提出措施==改进工作、提高效益==增进人类最大的福利 观察的种类： （1）可控制条件下的观察 （2）不可控制条件下的观察 可控制条件下进行观察举例 ——施肥试验一 控制条件：多块面积相等、光照相同、肥沃程度一样，播种同一品种同量的种子，采用相同的经营管理 试验对照措施：施相同的氮肥（50kg） 试验结果：一块地产1000kg，另一块产1030kg，…… 结论：30kg的产量差异是什么原因引起的？无法解释。就目前的认识水平它只能是随机因素引起的。 可