第一节：回归分析.docVIP

回 归 分 析 一切运动着的事物都是相互联系、相互制约的，从而描述事物和事物运动的变量之间也是相互联系、相互制约的。变量之间的相互关系，可分为两类：一类叫做确定性关系，也叫做函数关系，其特征是一个变量随着其他变量的确定而确定。例如圆面积与半径之间的关系。另一类关系叫做相关关系，这类关系的特征是：变量之间的关系很难用一种精确的方法表示出来。例如，人体的身高与体重之间有一定的关系，但是由身高不能精确地计算出体重，由体重也不能精确地计算出身高。不过，需要指出的是：确定性关系与相关性关系之间没有一道不可逾越的鸿沟。由于存在测量误差等原因，确定性关系在实际问题中往往通过相关关系表示出来。另一方面，当对事物内部的规律了解的更加透彻时，相关关系也可以转化为确定性关系。 回归分析就是处理变量之间的相关关系的一种数学方法。它是最常用的数理统计方法，能解决预测、控制、生产工艺优化等问题。在工农业生产和科学研究各个领域中均有广泛应用。 回归分析一般分为线性回归分析和非线性回归分析。本章着重介绍线性回归分析，它是两类回归分析中较简单的一类，也是应用的较多的一类。 第一节 一元线性回归 一、数学模型 一元线性回归分析的基本模型为 (1) 其中未知参数称为回归系数，自变量也称为回归变量。是随机误差项，总是假设～N(0, )。 （1）式两边同时取期望得：，称为对的回归直线方程。 在该模型下，第个观测值可以看作样本（这些样本相互独立但不同分布）的实际抽样值，即样本值。 一元线性回归分析的主要任务是： （i）建立因变量与自变量之间的回归模型； （ii）用样本值对和作点估计； （iii）对回归系数作假设检验； （iv）在处对作预测，并对作区间估计。 二、模型参数估计 有n组独立观测值（x1，y1），（x2，y2），…，（xn，yn） 设， ～N(0, )且相互独立 记 最小二乘法就是选择和的估计值，使得 为此，将上式分别对求偏导数，根据极值存在的必要条件，得 整理后得到下面的方程组 此方程组称为正规方程。 解上方程组并用取代，得 或 其中,,。 用这种方法求出的估计值称为的最小二乘估计，简称LS估计。（经验）回归方程为： 三、一元线性回归模型的检验 一元线性回归分析模型的检验分为拟合程度检验和显著性检验，它是利用统计学中的抽样理论来检验回归方程的可靠性。 （一）一元线性回归方程拟合程度的评价 所谓拟合程度，是指样本观测值聚集在样本回归线周围的紧密程度。判断回归模型拟合程度大小的最常用指标是判定系数和估计标准误差。这两个指标都是建立在对总离差平方和进行分解的基础上的。 对于任一样本观测点，因变量的实际观测值与其样本均值的离差即总离差可以分解为两部分：一部分是因变量的回归值与其样本均值的离差，它可以看成是总离差中能够由回归直线解释的部分，称为可解释离差；另一部分是实际观测值与回归值的离差，它是总离差中不能由回归直线加以解释的残差，该残差可以看作是回归模型中随机误差项的一个估计。对任意一实际观察值总有： 对于全部样本观测点，可以证明有如下关系式成立： 如果记,,，则有： 上式中：是总的离差平方和（或总变差）；是由回归直线可以解释的那一部分离差平方和，称为回归平方和（或回归变差）；是用回归直线无法解释的离差平方和，称为剩余平方和（剩余变差）。显然，各点观测值与直线越靠拢，回归变差占总变差的比重就越大，说明直线拟合得就越好。 1. 判定系数 我们把回归平方和与总离差平方和之比定义为样本判定系数，即 判定系数是一个回归直线与样本观测值拟合优度的指标。的值总是在0和1之间。一个线性回归模型如果充分利用了的信息，则越接近于1，拟合优度就越好。反之，如果不大，说明以模型中给出的对的信息还不充分，应进行修改，使和的信息得到充分的利用。 2．回归标准差 如上所述，从观测值与估计值的对比来看，回归直线上的各点同对应的观测值各点之间，均存在一定的离差，即观测值曲线上各点的值均偏离回归直线。离差越大，拟合程度越差。因而需要测定估计值的标准差，而回归标准差就是用来估量值在回归直线两侧的离差程度，以便在进行实际预测时为预测值建立一个置信区间范围。回归标准差的计算公式为： 值越小，表明回归直线拟合程度越好。 （二）一元线性回归方程的显著性检验 回归分析中的显著性检验包括三个方面的内容：一是对各回归系数的显著性检验（检验）；二是对回归方程整体的显著性检验（检验）；三是与之间线性相关程度的检验（检验） 1．检验 检验的目的在于检验各回归系数的显著性，即与之间是否真正存在线性关系，具体表现为回归系数是否为0