回归分析自学整理..docVIP

回归分析自学整理 一、回归分析的数学模型与假设 1 二、回归分析的步骤 4 三、回归分析的SPSS操作与数据解释 14 一、回归分析的数学模型与假设 总体回归模型（理论模型） β0为常数项，也叫截距。 β1,β2,…,βj为总体偏回归系数。 βj（j=1,2,…,m）表示当方程中其自变量保持常量时，自变量X每增加（或减少）一个计量单位反应变量Y平均变化β个单位。 ε 条件均值形式 就是回归方程。 多元线性样本回归函数 一般形式 条件均值形式 总体回归与样本回归的区别 假设 古典线性回归模型总是假设 1.误差项ε是一个服从均值为零（零均值）、方差是常数（同方差）正态分布的随机变量，即ε~N(0,)，E(ε)=0,且相互独立（残差无自相关）； 2.解释变量x1，x2，…，xk是可以精确观察的普通变量（非随机变量）。 3.解释变量X与随机误差项ε是各自独立对解释变量Y产生影响（残差与自变量无相关）。 多元回归增加的假定：各自变量之间不存在线性关系。在此条件下，自变量观测值矩阵X列满秩 回归与相关的区别 相关分析 回归分析 作用 主要描述两个变量之间相关的方向和密切程度。 确定因变量y和自变量x之间数量变动关系的数学表达式,并对因变量进行预测。 变量的地位 变量x、变量y处于平等地位。 变量y和变量x不是对等关系。 变量的性质 变量x和y都是随机变量 Y是因变量，是随机变量；x是自变量，是确定变量。可以建立y依x或x依y两个回归方程。 系数的取值 可以计算一个相关系数。相关系数取值范围在0到正负1之间。 可以计算两个回归系数。回归系数取值可为正负数、且取值范围不限。 二、回归分析的步骤 （一）画散点图。选择合适的回归方法。初步判定自变量与因变量的关系。 （二）建立回归方程。求出b0和bj。 （三）回归方程检验。方程精度检验（R2）、回归系数检验（F检验和T检验） （四）预测。求出总体回归系数β0和βj.并求出预测区间。 （一）画散点图 散点图的重要作用 回归分析时，有时R比较明显，达到0.8以上，但是并不表示Y与X之间的关系是线性的，因此进行回归分析时，不能进行简单判断。图示分析方法是最基本、最直观的方法，有助于对数据的内在性质进行准确判断。 例如：下面四图中的数据，计算相关系数差不多都为0.8，但实际却差别巨大。第一图虽然数据比较散，但线性趋势比较模型。第二图模型是曲线趋势。第三图有一个异常点，该点导致直线的斜率发生较大改变。第四图本来没什么趋势，也只是一个异常点的影响使其线性相关系数较大。 后面三图直接进行回归分析都会得出错误的回归模型，不能反映事实。 （二）建立回归方程 建立多元线性回归方程同样要根据最佳拟合原则，采用最小二乘法，使所求直线在y轴 上与实际观测值y间的误差平方和Q最小。根据微积分求极值的原理，只需分别对a、求偏导数,令它们等于零,整理后可得标准（正规）方程组。 达到最小，其充分必要条件 得到正规方程组 利用最小乘法建立多元回归方程的过程 直观地说，所谓最小二乘法,就是如果散点图中每一点沿y轴方向到直线的距离最小,简单讲就是使误差平方和最小,则在所有直线中这条直线的代表性就是最好的,它的表达式就是所求的回归方程.由于x与y的关系是分布在一个区域,两个变量的成对数据画成散点图后,两点确定一条直线,因此可以画出不止一条直线,在这些直线中有的离散点远,用它来表示两变量的关系,准确性就较差.只有Q最小的直线准确性最好. 由于建立多元线性回归方程所应用的数据也是样本数据，所以建立的方程也是样本回归方程，记作： 在高等数学中，要使Q最小，就是求Q的极值。求Q的极值，就是要求Q的一阶偏导并令其为0组成偏导方程组，然后解偏导方程组求出参数估计值。 多元线性回归方程的建立从原理上说，与一元线性回归方程的建立相同，但由于涉及到多个因变量，所以数学处理更复杂。这里，我们试图通过二元线性回归方程的建立，来寻找多元线性回归方程的求建规律和方法。 设二元线性回归方程为： 根据最小二乘法，有： 最小 将回归方程代入，则有： 先求Q对常数项b0的一阶偏导并令其为0，有： 整理后，得到： 两边同时除以n，得： 将b0代人上式，得： 求Q对b1的一阶偏导并令其为0，有： 按同样的方法求Q对b2的一阶偏导并令其为0，得： 这样，我们可以把这两个方程写为： 解这个方程组，可求出b1和b2，代入 可求出b0，于是，二元线性回归方程就建立了。 以此类推，假设多元（K元）线性回归方程为： （j=1,2,…,k） 则有： 在回归分析中，这个方程组称为正规方程。 利用正规方程，求