4-线性回归分析.pptVIP

线性回归分析 公共卫生学院 一. 前言 回归分析的目的: 设法找出变量间的依存(数量)关系, 用函数关系式表达出来 二、基本概念 1、应变量（dependent variable) 2、自变量（independent variable） 3、一元线性回归 　　直线回归方程的模型是：yi=a+bxi+ei 其中 （１）a是截距 （２）b是回归系数(regression coefficient)（回归直线的斜率） 回归系数的统计学意义是：自变量每变化一个单位，应变量平均变化的单位数． （３）ei是残差 因此直线回归方程的一般形式是： 其中 是应变量y的预测值或称估计值。 4、多元线性回归 多元线性回归方程模型为： yi=b0+b1x1i+b2x2i+…+bnxni+ei 其中 b0是常数项，是各自变量都等于0时，应变量的估计值。有时，人们称它为本底值。 b1，b2，…，bn是偏回归系数( pertial regression coefficient )，其统计学意义是在其它所有自变量不变的情况下，某一自变量每变化一个单位，应变量平均变化的单位数。 如果所有参加分析的变量都是标准化的变量，这时b0就等于0， b1，b2，…，bn 就变成了标准化偏回归系数，用符号b1‘，b2’，…，bn‘表示。 bi’= bi*sxi/sy 由于bi’没有量纲，因此可以相互比较大小，反映自变量的相对作用大小。 (3) ei是残差 多元线性回归方程的一般形式是： 其中的符号含义同前。 三、理论假设 自变量x与应变量y之间存在线性关系； 正态性：随机误差（即残差）e服从均值为 0，方差为?２的正态分布； 等方差：对于所有的自变量x，残差e的条件方差为?２ ，且?为常数； 独立性：在给定自变量x的条件下，残差e的条件期望值为0（本假设又称零均值假设）； 无自相关性：各随机误差项e互不相关； 残差e与自变量x不相关：随机误差项e与相应的自变量x不相关； 无共线性：自变量x之间相互独立． 四、回归方程的建立 散点图 奇异点（ouliers） 最小二乘法（least square, LS） 残差平方和（sum of squares for residuals） 一元线性回归时，计算比较简单： 多元线性回归时，比较复杂，一般需要用计算机处理。 五、线性回归的检验 １、回归方程的检验 　方差分析法： 应变量的总变异 可分解为 回归平方和(regression sum of squares)：可用线性回归解释的部分 剩余平方和(residual sum of squares)：即残差平方和，不能用线性回归解释的部分 以上三部分的自由度分别为n-1，m和n-m-1。其 中，n为样本数，m为自变量数。 方差分析的假设为 一元线性回归：H0: ?=0 　　　 H1: ??0 多元线性回归： H0: ?1= ?2=…= ?m=0 H1: ?1， ?2，…， ?m中至少有一个不等于零 因此方差分析的结论是线性回归方程是否显著，是否有意义。 ２、回归／偏回归系数的检验 　　 检验回归系数是否为零，每一个偏回归系数是否为零。用t检验方法。 　统计量 　 自由度 　结论：回归／偏回归系数是否有意义，是否为零；对应的自变量是否有意义。 ３、常数项（截距）的检验 检验常数项（截距）是否为零。 用t检验方法。 一元线性回归： H0: ?=0 　　　　　　 H1: ? ?0 多元线性回归： H0: ?0=0 　　　　 H1: ?0?0 ４、模型的预测效果检验 　　 亦称回归模型的拟合优度检验。检验回归模型对样本数据的拟合程度。 决定系数（determination coefficient）（ R square） 调整（校正）决定系数（adjusted R square） 复相关系数R （multiple correlation coefficient） ５、线性回归适用性检验 （１）回归模型残差的正态性检验 残差的直方图 残差的累积概率图（P-P图） （２）回归模型残差的独立性检验 用Durbin--Watson检验，其参数称为Dw或D。D的取值范围是0<D<4。其统计学意义为： D≈2，残差与自变量相互独立； D<2，残差与自变量正相关； D>2，残差与自变量负相关。 （３）残差的方差齐性检验 以上都是对残差的分析，称为残差分析。残差分析还可以１）检出奇异点 ２）评判预测效果。 （４）共线性诊断