相關分析与多元回归分析.docVIP

7.4多元线性回归 7.4.1方法概述 1. 模型的建立： 多元线性回归分析是研究一个因变量与多个自变量间关系的统计方法。模型可写成为： 截距；bi（i=1,…,k）称为偏回归系数，表示当其余自变量固定时，Xi变化一个单位时，因变量Y的平均变化量。 回归系数的估计仍根据最小二乘原理，求b0,b1,…,bk使得达到最小。多元回归模型的参数估计不能象直线回归那样可以直接写出表达式，矩阵形式： 由于各自变量的单位不同，为此要运用标准化偏回归系数。先作变量的标准化，即作变换 标准化偏回归系数bi’表示当其它自变量固定时，Xi变化一个标准差时，因变量Y变化的标准差单位数。bi’没有单位，所以可以用它们的绝对值大小来说明各自变量的重要性，其值越大，对因变量的作用越大。以bi’表示Xi的标准化偏回归系数，则 2. 假设检验： (1)离均差平方和的分解 与直线回归一样，多元回归时亦可将因变量的离均差平方和可分解为两部分： SST(总)=SSR(回归)+SSE(剩余) 回归平方和越大，回归的效果越好。回归平方和与总离均差平方和的比值称为决定系数(coefficient of determination, R2)，其计算公式同称为复相关系数，表示多个自变量共同对因变量的相关密切程度。 回归平方和SSR是多个自变量共同的贡献，要研究每个自变量对因变量的作用，还需将SSR按个自变量的贡献进行分解： SSR=SSR1+…+SSRk SSRi称为偏回归平方和，表示扣除其它自变量的作用后，由自变量Xi对因变量Y变异的贡献。显然自变量的偏回归平方和越大，该变量对Y的贡献越大，该变量在回归中所起的作用也越大。偏回归平方和与总离均差平方和的比值，称为偏决定系数。 (2)方差分析法： 模型中各回归系数的总体值只要有一个不为零，则模型就有意义。对所有总体回归系数为零的检验需计算检验统计量F： , 求得F值后，按F分布F(k,n-k-1)确定P值，再根据检验水准作出推断结论。 而检验每一个变量作用的显著性，可以计算 (3)偏回归系数的标准误与t检验 扣除所有自变量的作用后，因变量的变异称为剩余标准差，记作因而有关于总体偏回归系数为零的t检验: 例8.4 () 用回归分析研究因变量肺活量（Y, ml）与自变量（体重X1、胸围X2、胸围的呼吸差X3）的关系，并比较各自变量对Y作用的大小。 SAS程序： DATA REG2; INPUT X1 X2 X3 Y; CARDS; 35 69 0.7 1600 40 74 2.5 2600 …… 42 65 3.0 2500 ; PROC REG; MODEL Y=X1-X3/STB; RUN; 输出结果如下： Model: MODEL1 Dependent Variable: Y 第一部分 Analysis of Variance Sum of Mean Source DF Squares Square F Value ProbF Model 3 1250109.0678 416703.02259 5.617 0.0355 Error 6 445140.93222 74190.15537 C Total 9 1695250.0000 Root MSE 272.37870 R-square 0.7374 Dep Mean 2315.00000 Adj R-sq 0.6061 C.V. 11.76582 第二部分 Parameter Estimates N = 10 Regression Models for Dependent Variable: Y 方差分析结果，F=5.617，P=0.035，说明整个模型有意义。建立回归方程如下： y hat=-3035.54+60.93X1+37.81X2+101.38X3 X1、X2、X3的标准化回归系数分别为0.4645、0.3917、0.2540，所以体重对肺活量的影响 最大。 值得注意的是，各回归系数的假设检验结果均不显著，这说明方程建立的不是最好，需进一步对变量进行筛选。 7．5逐步回归 7.5.1概述 上面介绍建立多元回归方程的方法时，将