一元线性回归分析lm.docxVIP

一元线性回归分析 1一元回归分析 在进行回归分析时，我们必需知道或假定在两个随机之间存在着 一定的关系。这种关系可以用Y的函数的形式表示出来，即丫是所 谓的因变量，它仅仅依赖于自变量X,它们之间的关系可以用方程式 表示。在最简单的情况下，丫与X之间的关系是线性关系。用线性函 数a+bX来估计Y的数学期望的问题称为一元线性回归问题。即，上 述估计问题相当于对X的每一个值，假设E(y) = a^bx9而且， y?+ ,其中a, b, O2都是未知参数，并且不依赖于X。对y 作这样的正态假设，相当于设： y = a + bx+ ￡ (3) 其中￡?,为随机误差，a, b, o2都是未知参数。 这种线性关系的确定常常可以通过两类方法，一类是根据实际问 题所对应的理论分析，如各种经济理论常常会揭示一些基本的数量关 系；另一种直观的方法是通过Y与X的散点图来初步确认。 对于公式(3)中的系数a、b,需要由观察值(“」)来进行估计。 如果由样本得到了 a, b的估计值为,几 则对于给定的x, a+bx的 估计为+以，记作八 它也就是我们对y的估计。方程 y-a + hx (4) 称为y对x的线性回归方程，或回归方程，其图形称为回归直线。 例仁有一种溶剂在不同的温度下其在一定量的水中的溶解度不 同，现测得这种溶剂在温度x下，溶解于水中的数量y如下表所示： Xi 0 4 10 15 21 29 36 51 68 Yi 66.7 71.0 76.3 80.6 85.7 92.9 99.4 113.6 125.1 这里x是自变量，y是随机变量，我们耍求y对x的冋归。 其散点图如下： 130120 130 120 110 100 90 80 70 60 -10 0 10 20 30 40 50 60 70 X 2?确定回归系数(应用最小二乘法) 在样木的容量为n的情况下，我们我们可以得到n对观察值为 (x,z.)o现在我们要利用这n对观察值来估计参数a, bo显然，y的 估计值为： y = a + hx 在上式中a, b为待估计的参数。估计这两个参数的方法有极大 似然法和最小二乘法。其中最小二乘法是求经验公式时最常用的一种 方法，也最简单。现在就采用这种方法。 当我们做出这一对变量观察值的散点图后，我们可以看出，我们 所要求的回归直线，实际上是这样的一条直线，即，使所求的直线能够最好的拟合已有的所有点，或者说要使图上所有的点到这条直线的距离最近。因此所要求的直线实际上就是使所有的点与这条直线间的 误差最小的直线。 我们用x表示y的样本观察值，刃表示根据回归方程所得到的y 的估计值，则估计值与实际观察值之间的误茅为, ei=yi-yi=yi-a-bxi 其总的误差，可以表示为误差的平方和的形式, -a- bxt) (6) 现在要使上式取得极小值，只需令Q对a, b的一阶偏导等于0, 因此： 薯楚/—“io db db 由此可解得如下结果:E-2为 由此可解得如下结果: E-2 为(X —元)(y — y) 元尸 其中久厶就是参数a, b的无偏估计。此外，所谓最小二乘估计, 实际上就是使误差的平方和最小的估计。 估计出了回归方程的系数,我们就可以在给定的x值的情况下对 y进行估计，或预测。 例2：求例1中的y关于x的回归方程。 解：此处，n=9,有关回归方程计算所需要的数据如下: X y x2 / xy 0 66.7 0 4448.89 0 4 71.0 16 5041.00 284.0 10 76.3 100 5821.69 763.0 15 80.6 225 6496.36 1209.0 21 85.7 441 7344.49 1799.7 29 92.9 841 8630.41 2694.1 36 99.4 1296 9880.36 3578.4 51 113.6 2601 12904.96 5793.6 68 125.1 4624 15650.01 8506.8 Z234 811.3 10144 76218.17 24628.6 n = 9,x = — = 26,y = = 90.1444 9 9 9 2 工（兀_无）=406C /=! 9 2 工（必-刃 9 工 3-劝?- 刃= 35348 /=1 .弓(兀一元)?—刃35348 b = ― = 土竺=0.8706 Z^.-x)2 4060 /=1 a = y-hx = 67.507S 用Minitab求得的结果如下: Coefficien Model Unstan dardized Coefficients Stan dardi zed Coeff icie n ts t Siq. B Std. Error Beta 1 (Constant) X 67.508 .