10.线性回归分析.ppt

例：人均收入 X 与人均食品消费支出 Y 的散点图的关系如图。 第十章 线性回归分析 变量之间的关系有两种： 确定型的函数关系 不确定型的函数关系 这里主要研究不确定型的函数关系，如收入与受教育程度之间的关系，等等问题。 但它们之间存在明显的相互关系（称为相关关系），又是不确定的。 回归分析是研究随机变量之间相关关系的统计方法。其研究一个被解释变量（因变量）与一个或多个解释变量（自变量）之间的统计关系。 1.一元线性回归是研究一个自变量与一个因变量的统计关系。 一. 一元线性回归 人均收入X 人均食品支出 Y 这两个变量之间的不确定关系，可以用下式表示： 式中，人均食品消费支出Y 是被解释变量， 人均收入 X 是解释变量，?1， ?2是待估计参数；u 是随机干扰项， 且与 X 无关， 它反映了 Y 被 X 解释的不确定性。 如果随机干扰项 u 的均值为 0， 对上式求条件均值，有 反映出从“平均”角度看，是确定性关系。 例：地区的多孩率与人均国民收入的散点图如下： 人均收入X 多孩率 Y 这两个变量之间的不确定关系，大致可以用下式表示： 设 Z =Ln X ，可将上式线性关系为： 线性回归的任务：就是用恰当的方法，估计出参数 ?1， ?2 ，并且使估计出来的参数具有良好的统计特征，所以，回归问题从某种视角看，视同参数估计问题。 如果把X，Y的样本观测值代到线性回归方程中，就得到 i =1,2, …,n, n为样本容量. 从重复抽样的角度看， Xi，Yi也可以视为随机变量。 2. 高斯基本假设 对于线性回归模型 i =1,2, …,n, n为样本容量. 高斯基本假设如下: ui 为随机变量 ( 本假设成立, 因为我们研究就是不确定关系). E(ui) =0, 随机干扰项的期望值等于零(本假设成立, 如果其均值不是零, 可以把它并入到 ?1 中). Var(ui) =?2u , 随机干扰项的方差等于常数(本假设有可能不成立, 以后讨论不成立时如何处理). E(uiuj)=0 (i?j) 随机干扰项协方差等于零(本假设 有可能不成立, 以后讨论不成立时如何处理). (5) ui 服从 N(0, ?2u )分布; (6) E(Xiuj)=0, 对Xi 的性质有两种解释: a. Xi 视为随机变量, 但与uj无关, 所以(6)成立. b. Xi 视为确定型变量, 所以(6)也成立. 3. 普通最小二乘法 (OLS) 设线性回归模型 其中 为?1， ?2 的估计值, 则 Y 的计算值?, 可以 用下式表达: 所要求出待估参数 , 要使 Y 与其计算值?之间的“误差平方和”最小. 即： 使得 最小. 为此, 分别求Q 对 的偏导, 并令其为零: 由上两式, 就可求出待估参数 的值. 4. 所求参数的计算公式 的另一个表达式为: 5. 几何解释 残差向量 e =Y – ? = (Y-Y) - (?-Y) = y- ? 向量 y, ?, e 三者之间关系如图所示, 普通最小二乘法要使残差平方和 ? e2i 最小, 也就是要使 e 的长度尽可能小, 等价于在几何上 e ? x . 或者说, ? 的长度应当是 y 在 x 上的投影长度. y x e 二. 多元线性回归 本节要研究一个被解释变量 (因变量) , 多个解释变量(自变量)的线性模型, 即 1. 基本假设 u 为随机变量向量 ； E(u) =0； cov(u) =E(u uT) = ?2u In (包含了两个其本假设：一是不存在序列相关，即 i?j 时, cov(ui, uj)=E(uiuj)=0;二是具有同方差性(齐次方差性), 即Var(ui) =?2u ). (4) u ~ N(0, ?2u In ) (5) E(XTu) =0 , 或者, X 为确定矩阵 (6) 秩 ? ( X ) = k, ( kn) 2. 普通最小二乘法估计式 在模型中, 代入样本观测值之后, 可得 用矩阵方式表达为 Y = X? + u 其中, Y =(Y1, Y2, …, Yn)T u = (u1, u2, …, un)T ? = ( ? 1, ? 2, …, ?k)T 若估计出, 则有 所以 于是有 两边左乘XT, 得 由几何解释XT ? e , 故有XTe = 0, 所以可以求出: 这就是普通最小二乘法估计系数公式. R2 称为判定系数, 它反映