SAS学习系列2一元线性回归.docVIP

实用标准文档 一元线性回归 回归分析是研究一个或多个变量（因变量）与另一些变量（自变量）之间关系的统计方法。 主要思想是用最小二乘法原理拟合因变量与自变量间的最佳回归模型（得到确定的表达式关系） 。其作用是对因变量做解释、控制、或预测。 回归与拟合的区别： 拟合侧重于调整曲线的参数， 使得与数据相符； 而回归重在研究两个变量或多个变量之间的关系。 它可以用拟合的手法来研究两个变量的关系，以及出现的误差。 回归分析的步骤： 1）获取自变量和因变量的观测值； 2）绘制散点图，并对异常数据做修正； 3）写出带未知参数的回归方程； 4）确定回归方程中参数值； 5）假设检验，判断回归方程的拟合优度； 6）进行解释、控制、或预测。 一、一元线性回归模型为 Y= 0+ 1X+ε 其中 X 是自变量， Y 是因变量， 0, 1 是待求的未知参数， 0 也称为 截距； ε是随机误差项，也称为残差，通常要求 ε满足： 文案大全 实用标准文档 ① ε的均值为 0； ② ε的方差为 2； ③ 协方差 COV(εi, jε)=0，当 i ≠j时。即对所有的 i ≠j,εi与 εj 互不 相关。 二、用最小二乘法原理 ，得到最佳拟合效果的 ?0 , ?1 值： n ? ( xi x )( yi y) ? ? i 1 ， y 1 n 0 1x i 1 ( xi x )2 三、假设检验 拟合优度检验 总偏差平方和及其自由度： 文案大全 实用标准文档 回归平方和及其自由度： 残差平方和及其自由度： TSS=RSS+ESS R2 RSS 1 ESS TSS TSS 通常可以认为当 R2 大于 0.9 时，所得到的回归直线拟合得较好， 而当 R2 小于 0.5 时，所得到的回归直线很难说明变量之间的依赖关系。 回归方程参数的检验 回归方程反应了因变量 Y 随自变量 X 变化而变化的规律，若 1=0，则 Y 不随 X 变化，此时回归方程无意义。 所以，要做如下假设检验： H0: 1=0, H1: 1≠0； 1） F检验 若 1=0 为真，则回归平方和 RSS 与残差平方和 ESS/(N-2)都是 2 的无偏估计，因而采用 F 统计量： 来检验原假设 β=0 是否为真。 文案大全 实用标准文档 （2）T 检验 对 H0: 1=0 的 T 检验与 F 检验是等价的（ t2=F）。 对 H0: 0=0 的 T 检验，若 0=0 为真， t 统计量为： 用回归方程做预测 得到回归方程 ? ? ? 后，预测 X=x 0 处的Y值? ? ? Y 0 1 X y0 0 1 x0 . y?0 的预测区间为： 其中 tα/2 的自由度为 N-2. SAS 中是用 model 语句中的 clm 选项来计算预测区间的。 回归诊断 （ 1）残差图分析 残差图就是以残差 ? y y?为纵坐标，某一个合适的自变量为横 坐标的散点图。 回归模型中总是假定误差项是独立的正态分布随机变量， 且均值 为零和方差相等为 2 . 如果模型适合于观察到的数据，那么残差作为误差的无偏估计， 应基本反映误差的假设特征。 即残差图应该在零点 附近对称地密布，越远离零点的地方就疏散 （在形象上似有正态趋势） ，则认为模型与数据拟合得很好。 文案大全 实用标准文档 若残差图呈现如图（ a）所示的形式，则认为建立的回归模型正 确，更进一步再诊断“学生化残差”是否具有正态性： 图（b）表明数据有异常点， 应处理掉它重新做回归分析 （在 SAS 的 REG 回归过程步中用来度量异常点影响大小的统计量是 COOKD 统计量）； 图（c）残差随 x 的增大而增大，图（ d）残差随 x 的增大而先增后减，都属于异方差。 此时应该考虑在回归之前对数据 y 或 x 进行变 换，实现方差稳定后再拟合回归模型。原则上，当误差方差变化不太 快时取变换 y ；当误差方差变化较快时取变换 log y 或 ln y ；当误差 方差变化很快时取变换 1/y；还有其他变换，如著名的 Box-Cox 幂变 换 y 1 . 图（ e）（f ）表示选用回归模型是错误的。 （2）共线性 文案大全 实用标准文档 回归分析中很容易发生模型中两个或两个以上的自变量高度相关，从而引起最小二乘估计可能很不精确（称为共线性问题） 。 在实际中最常见的问题是一些重要的自变量很可能由于在假设检验中 t 值不显著而被不恰当地剔除了。共线性诊断问题就是要找出哪些变量间存在共线性关系。 SAS 的 REG 过程步提供了特征值法、条件指数 collin 和方差膨胀因子 vif. 3）误差的独立性 回归分析之前，要检验误差的独立性。若误差项不独立， 那么回 归模型的许多处理，包括误差项估计、假设检验等都将没有推导依据。 由于残差是误