第三讲 回归分析.docVIP

第三讲　回归分析 1. 实验目的 1、掌握线性回归系统建模的基本方法。 2、学会使用SAS系统对线性回归模型进行参数估计、统计推断及残差分析等。 2. 实验要求 1、数据的初步分析：数字特征、经验分布、相关分析。 2、残差分析、回归分析。 3. 实验原理 3.1、线性回归模型及模型参数的最小二乘估计 设是一可观测的随机变量，它受到个非随机因素和随机误差的影响。假定它们有如下线性关系： （1） 其中：是待估参数，，则称（1）式为线性回归模型。 对总体进行次（）独立观测，得样本： 令： 则的最小二乘估计： 可得正规方程： 若，则有，代入（1）式，并略去误差项得经验回归方程： 令称为残差向量，可得：，令是的无偏估计。 3.2、回归模型检验原理 ①线性回归关系的显著性检验 为检验与之间是否存在显著的线性回归关系，即检验假设： 构造如下检验统计量： 当为真时，；给定显著性水平，由F分布得临界值（即F分布的上侧分位数），计算F的观测值，若，接受，否则拒绝。在SAS中，对显著性检验问题，其输出结果通常是检验的p值。对上述线性回归关系的显著性检验问题，检验的p值为，若p值小于显著性水平，拒绝，否则接受。 ②回归参数的显著性检验 回归关系显著并不意味着每个自变量对Y的影响都显著，我们希望从回归方程中剔除那些对Y的影响不显著的的自变量，从而建立一个较为简单有效的回归方程。若某个自变量对Y无影响，那么它的系数，因此检验的影响是否显著等价与检验假设：。若令，为的主对角线上的第个元素的平方根，则可得到 ；当为真时，，记t的观测值为，则检验准则为： ③残差分析 在回归分析中，我们通常假定是独立同正态分布的随机变量，有零均值和常值方差，因此，若拟合的回归模型适合于所给的数据，那么残差应该基本上反映误差的这些特性。利用残差的这些特性反过来考察原模型的合理性就是残差分析的基本思想。 a)残差正态性的频率检验 回归模型中标准化残差可近似认为是取自标准正态总体的样本，理论上属于有68%在（-1,1）内，87%在（-1.5，1.5）内，95%在（-1，1）内，如果残差在某个区间内的频率与上述理论频率有较大的偏差，我们有理由怀疑（从而）的正态假设的合理性。 b)残差正态性的QQ图检验 QQ图是做正态性检验的直观方法，将残差按由小到大的排列，以残差为纵坐标、正态期望为横直角坐标系中画出正态QQ图。 c)相关系数检验法 通过计算残差和正态期望之间的相关系数判断它们之间关系的强弱，若相关系数接近1，则说明残差为正态性。 d)时序残差图分析 以观测时间（或观测值序号）为横坐标，的散点图时序残差图。拟合好的模型的时序残差图中的点应落在以时间轴为中轴线的带状区域，且无明显的趋势性，否则说明回归方程的形式或对误差等方差的存在一定问题。 (1)以拟合值为横坐标的残差图分析 若模型适当，以拟合值为横坐标的残差图 (2)以自变量为横坐标的残差图分析 以每个的各观测值为点的横坐标，以残差为纵坐标。同样满意的残差图呈现水平带状。 3.3、逐步回归的原理与步骤 逐步回归的基本步骤就是依次拟合一系列回归方程，后一个回归方程在前一个的基础上增加或删除一个自变量，其增加或删除某个自变量的准则是用残差平方和的增加或减少量来衡量，一般采用如下的偏检验统计量，设模型已经有个自变量，记个自变量的集合为A，当不再A中的自变量加入到模型当中时，偏检验统计量一般形式为： 称为额外回归平方和。F统计量描述了误差平方和的增加或减少量，所以偏检验统计量是逐步回归方法中增加或删除变量所用的基本统计量。 4. 相关SAS知识 SAS中提供的关于回归最常用的过程是REG过程。语法格式如下： Proc reg options1； Model dependent=regressors/options； Output out=SAS data set keyword=name ……；Model”之后，应指明因变量，等号之后依次列出回归变量（自变量），每个变量之间用空格隔开，“options2”部分提供了最优模型的选择方法和其他拟和结果，主要包括三个主要部分： （1）①FORWARD：向前选择最优模型方法。自变量进入模型的控制水平用语句SLENTRY=level表示，默认情况下level=0.5。 ②BACKWARD：向后删除法。保留自变量在模型中的控制水平由语句SLENTRY=level给出，默认情况为level=0.1。 ③STEPWISE：逐步回归法，选取自变量和保留自变量的控制水平语句由SLENTRY=level1和SLSTAY=level2，默认情况为level1= level2=0.15。 ④