7.线性回归题稿.pptVIP

例：人均收入 X 与人均食品消费支出 Y 的散点图的关系如图。 第7章 线性回归分析 变量之间的关系有两种： 确定型的函数关系 不确定型的函数关系 这里主要研究不确定型的函数关系，如收入与受教育程度之间的关系，等等问题。 但它们之间存在明显的相互关系（称为相关关系），又是不确定的。 回归分析是研究随机变量之间相关关系的统计方法。其研究一个被解释变量（因变量）与一个或多个解释变量（自变量）之间的统计关系。 1.一元线性回归是研究一个自变量与一个因变量的统计关系。 一. 一元线性回归 人均收入X 人均食品支出 Y 这两个变量之间的不确定关系，可以用下式表示： 式中，人均食品消费支出Y 是被解释变量， 人均收入 X 是解释变量，?1， ?2是待估计参数；u 是随机干扰项， 且与 X 无关， 它反映了 Y 被 X 解释的不确定性。 如果随机干扰项 u 的均值为 0， 对上式求条件均值，有 反映出从“平均”角度看，是确定性关系。 例：地区的多孩率与人均国民收入的散点图如下： 人均收入X 多孩率 Y 这两个变量之间的不确定关系，大致可以用下式表示： 设 Z =Ln X ，可将上式线性关系为： 线性回归的任务：就是用恰当的方法，估计出参数 ?1， ?2 ，并且使估计出来的参数具有良好的统计特征，所以，回归问题从某种视角看，视同参数估计问题。 如果把X，Y的样本观测值代到线性回归方程中，就得到 i =1,2, …,n, n为样本容量. 从重复抽样的角度看， Xi，Yi也可以视为随机变量。 2. 高斯基本假设 对于线性回归模型 i =1,2, …,n, n为样本容量. 高斯基本假设如下: ui 为随机变量 ( 本假设成立, 因为我们研究就是不确定关系). E(ui) =0, 随机干扰项的期望值等于零(本假设成立, 如果其均值不是零, 可以把它并入到 ?1 中). Var(ui) =?2u , 随机干扰项的方差等于常数(本假设有可能不成立, 以后讨论不成立时如何处理). E(uiuj)=0 (i?j) 随机干扰项协方差等于零(本假设 有可能不成立, 以后讨论不成立时如何处理). (5) ui 服从 N(0, ?2u )分布; (6) E(Xiuj)=0, 对Xi 的性质有两种解释: a. Xi 视为随机变量, 但与uj无关, 所以(6)成立. b. Xi 视为确定型变量, 所以(6)也成立. 3. 普通最小二乘法 (OLS) 设线性回归模型 其中 为?1， ?2 的估计值, 则 Y 的计算值?, 可以 用下式表达: 4. 所求参数的计算公式 二. 多元线性回归 本节要研究一个被解释变量 (因变量) , 多个解释变量(自变量)的线性模型, 即 1. 基本假设 u 为随机变量向量 ； E(u) =0； cov(u) =E(u uT) = ?2u In (包含了两个其本假设：一是不存在序列相关，即 i?j 时, cov(ui, uj)=E(uiuj)=0;二是具有同方差性(齐次方差性), 即Var(ui) =?2u ). (4) u ~ N(0, ?2u In ) (5) E(XTu) =0 , 或者, X 为确定矩阵 (6) 秩 ? ( X ) = k, ( kn) 2. 普通最小二乘法估计式 在模型中, 代入样本观测值之后, 可得 用矩阵方式表达为 Y = X? + u 其中, Y =(Y1, Y2, …, Yn)T u = (u1, u2, …, un)T ? = ( ? 0, ? 1, …, ?k)T 若估计出, 则有 普通最小二乘法估计系数公式. R2 称为判定系数, 它反映了回归效果的好坏. 其定义可以从线性回归的几何解释中引出. 多元回归的几何解释的图形与一元回归的几何解释图形完全相同, 只是横坐标 x 不再表示一个变量, 而是表示 k-1 个变量. 6. 判定系数R2 判定系数R2的定义为: e y x ? 式中, , 其经济解释为 已解释变差占总变差的百分比. 7. 回归效果的F检验 检验回归效果的F统计量的定义式为: 服从F(k-1, n-k)分布. F越大越好. 当计算出的统计值 f f?(k-1, n-k), 就表示回归 效果是好的, 在 ? 水平下, 已解释方差(Y的变化中已经解释的部分)明显大于未解释方差(Y的变化中尚未解释