概率论与数理统计：C9_2 一元线性回归分析.ppt

* * * * * * * * * * * * * * * * * * * * * * * * 一元线性回归模型 §9.2 一元线性回归分析 仅有一个自变量的回归分析称为一元回归分析, 有多个自变量的回归分析称为多元回归分析. 若回归函数是线性函数 其中b0 , b1 , …, bk是未知常数，称为线性回归问题. 1. 一元线性回归模型 只有一个自变量 X 的一元线性回归模型是 Y = a + bx + ? , E(?) = 0, D(?) =σ2 在这个模型中, a、b为常系数, b 称为 Y 对 X 的回归系数, a 称为回归常数 . 取定自变量 X 的一组值 x1, x2, ··· , xn, 对因变量 Y 做 n 次独立观测, 记试验结果为Y1, Y2, ··· , Yn, 则有 Yi = a + bxi + ? i i = 1, 2, ··· , n ? i 是第 i 次观测时的随机误差, 有 (1) ? 1, ? 2,···,? n 独立同分布; (2) E(? i ) = 0, D(? i ) =σ2, i = 1, 2, ··· , n . 回归假定 通常, 进一步假定回归模型为 Y = a + bx + ? , ? ~ N(0, σ2) 称为一元线性正态回归模型. 这样 ? 1, ? 2, ···,? n 可视为正态分布总体 N(0, σ2) 的样本 . 又设Y1, Y2, ··· , Yn的实际观测值为 y1, y2, ··· , yn, 我们主要完成以下两个工作: 用观测值 ( xi , yi ) i = 1, 2, ··· , n, 对 参数 a, b, σ2进行估计; 对所假定的回归模型进行检验. Y = a + bx + ? , ? ~ N(0, σ2) 2. a、b、σ2 的估计 (1) a、b 的估计 对自变量X的一组值x1, x2, …,xn 做n次独立试验，得独立观察值y1, y2, …,yn . 依据观察值 （xi，yi), i=1，2，…， n. 求a、b 的估计值 . 记yi 的估计值为 称为经验回归值. 对所有的i，应使残差 都尽可能小, 有三种思路： 1) 使残差总和 最小； 缺点：可能正负误差抵消 2) 使残差绝对值之和 最小； 缺点：数学处理困难 3) 使残差的平方和 最小. 最小二乘法体现的是一种最佳拟合的思想, 就是对已有的 n 个点( xi, yi ), 用直线拟合它们, 找出总残差最小的那条直线。 最小二乘法 应用最小二乘法 分别对a,b求一阶偏导， 并建立方程组： 将它们整理后, 得到方程组 称为 正规方程组 由克莱姆法则，解得 其中 都是重要的 中间过度量 (2) 误差方差σ2 的估计 由于σ2 = D(? ) = E(? 2), 且 ? 1, ? 2, ···, ? n可视为? 的样本, 故按照矩估计的思想, 是σ2的矩估计量. 可证明σ2的无偏估计量为 代入 ，得 其中 例1 流经某地区的降雨量X和该地河流的径流量Y 的观察值如下表， 降雨量xi: 110 184 145 122 165 143 78 径流量yi: 25 81 36 33 70 54 20 129 62 130 168 1436 (∑） 44 1.41 41 75 480.4（∑） 求Y关于X的(经验)线性回归方程,试估计降 雨量为200时径流量为多少？计算误差方差σ2 的无偏估计值. 解：n=11, 所求经验回归方程为 降雨量为200时的径流量值为 =（6050.59-0.632×13768.7）/11=53.25 随机误差的方差σ2的估计为 3. 一元线性回归中的假设检验 检验自变量和因变量之间是否存在如回归模型所假定的那种形式的相关关系, 是回归分析的另一项重要工作。 实际上, 在一元线性回归中, 利用最小二乘法估计回归函数 a + bx, 也只是选出 “相对的最好”, 即是对已有的 n 个观测