一元线性回归原理.ppt

* 第*页 统计思维 回归的直观理解与原理: 一元线性回归 （一）问题的提出 例1 假定需要研究化肥施用量与粮食产量的关系，以便准确地定出化肥施用量的单位变化如何影响粮食产量的平均单位变化，进而确定合理的化肥施用量。 表1 化肥施用量与粮食产量 化肥施用量x(万吨) 4541.05 3637.87 2287.49 3056.89 4883.7 3779.3 4021.09 粮食产量y(万吨) 48526.69 45110.87 40753.79 43824.58 50890.11 46370.88 46577.91 化肥施用量x(万吨) 2989.06 3021.9 3953.97 3212.13 3804.76 1598.28 1998.56 粮食产量y(万吨) 42947.44 41673.21 47244.34 43061.53 47336.78 37127.89 39515.07 化肥施用量x(万吨) 3710.56 3269.03 1017.12 1864.23 2797.24 1034.09 　 粮食产量y(万吨) 46598.04 44020.92 34866.91 37184.14 41864.77 33717.78 　 图1 化肥施用量与粮食产量的散点图 上述变量间关系的特点： 变量间关系不能用函数关系精确表达 一个变量的取值不能由另一个变量唯一确定 当变量 x 取某个值时，变量 y 的取值可能有几个 各观测点分布在直线周围 ? ? ? ? ? ? ? ? ? x y 问题 两个变量之间有着密切的关系，但它们之间密切的程度并不能由一个变量唯一确定另一个变量，即它们间的关系是一种非确定性的关系。它们之间到底有什么样的关系呢? 例1中由20组数据，粮食产量与化肥施用量的关系式 是如何得到的？ 解决方案 运用模型来拟合这些数据点。 观测值分解成两部分： y = b0 + b1 x + e 一元线性回归模型 ? ? ? ? ? ? ? ? ? x y 观测项 = + 结构项 随机项 = + （二）一元线性回归模型 描述因变量 y 如何依赖于自变量 x 和误差项? 的方程称为回归模型 一元线性回归模型可表示为 y = b0 + b1 x + e y 是 x 的线性函数(部分)加上误差项 线性部分反映了由于 x 的变化而引起的 y 的变化 误差项 ? 是随机变量 反映了除 x 和 y 之间的线性关系之外的随机因素对 y 的影响 是不能由 x 和 y 之间的线性关系所解释的变异性 ?0 和 ?1 称为模型的参数 ? ? ? ? ? ? ? ? ? x y 一元线性回归模型 (基本假定) 因变量x与自变量y之间具有线性关系 在重复抽样中，自变量x的取值是固定的，即假定x是非随机的 误差项ε是一个期望值为0的随机变量，即E(ε)=0。对于一个给定的 x 值，y 的期望值为E ( y ) =? 0+ ? 1 x 对于所有的 x 值，ε的方差σ2 都相同 误差项ε是一个服从正态分布的随机变量，且相互独立。即ε~N(0 ,σ2 ) 独立性意味着对于一个特定的 x 值，它所对应的ε与其他 x 值所对应的ε不相关 对于一个特定的 x 值，它所对应的 y 值与其他 x 所对应的 y 值也不相关 回归方程 (regression equation) 描述 y 的平均值或期望值如何依赖于 x 的方程称为回归方程 一元线性回归方程的形式如下 E( y ) = ?0+ ?1 x 方程的图示是一条直线，也称为直线回归方程 ?0是回归直线在 y 轴上的截距，是当 x=0 时 y 的期望值 ?1是直线的斜率，称为回归系数，表示当 x 每变动一个单位时，y 的平均变动值 ? ? ? ? ? ? ? ? ? x y x y (xn , yn) (x1 , y1) ? ? ? ? ? ? ? ? ? (x2 , y2) (xi , yi) 问题：回归直线如何确定？ Karl Gauss的最小化图 x y (xn , yn) (x1 , y1) ? ? ? ? ? ? ? ? ? (x2 , y2) (xi , yi) ei = yi-yi ＾ 目标：找一条直线尽可能的拟合这n个样本点。 （三）最小二乘估计 (least-squares estimati