第13章回归分析 - 上海财经大学.doc

第十三章 回归分析 本节我们主要线性回归分析。 13.1一元线性回归分析 在实际问题中我们常常要寻找存在于两个（或多个）变量之间的关系，它们之间有一定的关系，然而这种关系并不完全确定。例如，正常人的血压与年龄有一定关系，一般讲年龄大的人血压相对地高一些，但是他们之间就不能用一个确定的函数关系式表达出来。为了深入了解它们的关系，往往需要我们去寻找它们的数量表达式。先看一个例子。 例1 测得某种物质在不同温度x下吸附另一种物质的重量如下表所示： 温度xi (C0) 1.5 1.8 2.4 3.0 3.5 3.9 4.4 4.8 5.0 吸附量(mg) 4.8 5.7 7.0 8.3 10.9 12.4 13.1 13.6 15.3 表1 如果我们重复做这些试验，在同一个温度下，所测得吸附另一种物质的重量也不完全一致。把这9对数据画出散点图1，从图上我们发现随着温度的增加，吸附量也增加，且这些点近似在一条直线附近，但又不完全在一条直线上。引起这些点与直线偏离的原因有两个，其一是本身温度和吸附量存在的内在关系，其二是在温度下观察吸附量存在着一些不可控制的因素。 图1 这样我们可以把观测结果看成是由两部分叠加而成的，一部分是由的线性函数引起的，记为，其中就是图1中显示的那条直线，还需要估计；另一部分是由随机因素引起的，记为 。即 （1） 由于我们把看成是随机误差，由中心极限定理知，假定服从是合理的，这也就意味着假定 ， 其中， 。 在（1）中是一般变量，它可以精确测量或可以加以控制，是可观测其值的随机变量，是未知参数，是不可观测的随机变量，假定服从。 综上所述，我们得到一般的数学模型。通过观测，获得了组独立的观测数据，则一元线性回归模型为 ， （2） 也可以简单地记为 相互独立，且 。 当由观测值获得未知参数的估计后，得到的方程 称为关于的一元线性回归方程。 对于一元线性回归模型，我们要解决如下三个问题： （1）根据观测值去估计未知参数，从而建立与的数量关系式（称为回归方程）。 （2）对以上得到的数量关系式的可信度进行统计检验。 （3）对某个，在一定的可靠度下来预测在什么区间中。 13.1.1参数的最小二乘估计 我们想找的回归方程是要使观测值从整体上比较靠近它。用数学的话来说就是要求观测值与其拟合值之间的偏差平方和达到最小。 设给定个点，为一条直线， 记 (3) 就是误差平方和，它反映全部的观测值与直线的偏离程度。因此，越小，观测值与直线拟合得越好。所谓的最小二乘法就是使达到最小的一种估计的方法。 如果,满足 那么称,分别是,的最小二乘估计。 下面来求、的最小二乘估计。 由于是的一个非负二元函数，故其极小值一定存在，根据微积分的理论知道只要求对的一阶偏导数为0，即 ， ， 整理后得 （4） 通常称（4）为正则方程组，解之得 其中，。 在具体计算时，常记 （5） （6） （7） 这样，,的最小二乘估计可以表示为 。 (8) 因此，可得到回归方程为 ， (9) 此回归方程在平面直角坐标系中必过与两点。 例2 由例1的数据算得 ， ，， 回归方程为 。 下面不加证明地罗列最小二乘估计的一些性质： （1）、分别是、的无偏估计。 （2）~, ~ 。 （3）是的无偏估计。 13.1.2回归方程的显著性检验 从求一元线性回归方程系数的最小二乘估计公式（8）式可知，不管与之间是否有线性关系，只要给出了对数据，总可由（8）式求出，从而写出回归方程，然而此方程不一定有意义。那么，什么是一个有意义的回归方程呢？我们研究回归方程的目的是寻找与之间的统计规律性，即要找出随变化的规律。在一元线性回归中，反映了随线性变化的变化率，若，说明不随作线性变化，那么我们给出的一元线性回归方程就没有意义，若，那么回归方程才有意义。因而对回归方程作显著性检验就是要检验假设 （10） 是否为真。 我们注意到引起随机变量观测值不同的原因不外有二个，一是由于不真，从而在的变化时引起的线性变化，除此之外还有其它一切因素（包括在的变化时引起非线性变化的部分）造成的随机误差所致。 记统计量 ， ， ， 其中 。 即是回归方