第九章相关与简单线性回归分析要点.docVIP

第章 第一节 一、第节 一、 α+βxi，其中α称为常数，β称为回归系数。 对于每一个真实的yi，其表达式为yi=α+βx+εi，yi是随机变量，εi是随机误差，由于εi的值不固定，从而使x和y呈现出不确定的关系。 三、回归方程的建立与最小二乘法 回归方程中描述的是总体关系，总体不知道的情况下，只能通过样本来估计总体，即通过样本的散点图来估计总体回归直线的系数α和β。如何根据样本散点图拟合出一条最佳的估计直线？使用最小二乘法。 设从总体中抽取一个样本，观测值为(x1,y1),(x2,y2),…(xn,yn)，穿过这n个观测点可以得到无数直线y=a+bx，最佳直线就是与各个点都比较接近的这条直线，即各点到该直线的铅直距离即偏差之和最小，但偏差有正有负会抵消，需要对所有偏差求平方和，使得∑(yi-?)2最小，即最小二乘法原理。根据最小二乘法准则拟合的回归方程记作?= a+bx。 根据最小二乘法原理可推导出b=，a= 为了便于计算，也可将上述公式分解为：b= 由此通过最小二乘法所确定的a、b带入待估计的直线方程式得到?=a+bx就是总体线性回归方程E(yi)= α+βxi的最佳估计方程。 斜率b的意义：x发生一个单位的变化时，y相应发生的变化量。 第节 一、 α+βxi，需要作出一些基本假定： A、对于x的每一个取值xi，yi是随机变量/y的子总体，所有yi的方差相等。 B、所有yi的均值都在一条直线上，其数学表达式为E(yi)= α+βxi，由于α和β对于所有子总体yi都是一样的，所以α和β是总体参数。 C、随机变量yi是统计独立的。 这三个假定可以写为： 随机变量yi在统计上是相互独立的，它们的均值=E(yi)= α+βxi，方差=σ2。 D、出于假设检验需要，还要求y的每一个子总体yi都满足正态分布。 综合回归分析中估计和检验的两方面需要，对总体数据结构有如下假定： y1= α+βx1+ε1，y2= α+βx2+ε2，……yn= α+βxn+εn， 其中，ε1，ε2….εn是随机变量，相互独立，且都服从相同正态分布N(0, σ2) 二、回归方程的检验 在拟合回归直线前，需要对总体变量之间是否存在线形关系进行检验，否则拟合回归直线是没有意义的。 1、作出假设 H0：β=0 ； H1：β≠0 类似于方差分析，β=0意味着各总体均值相等，说明x和y之间没有关系，β≠0意味各总体均值不等，说明x和y之间有线性关系。所以可理解为检验各总体均值是否相等，类似方差分析的检验。 2、计算检验统计量 （1）计算偏差平方和 总偏差平方和TSS= ，反映了观测值yi围绕均值总的离散程度。 剩余平方和RSS= ?i)2，反映了观测值yi偏离回归直线?i的离散程度，是通过回归直线进行估计之后，仍然未能消除/未被解释的误差，也称残差平方和，说明了除x对y的线性影响外，还存在其他未被考虑的因素。 由于(yi-)可以分解为(yi-?)+(?-)，所以TSS可分解为RSS+RSSR。回归平方和RSSR=?i-)2，表示通过回归直线被解释掉的误差。 （2）计算检验统计量 计算均方：TSS的自由度为n-1，RSS的自由度为1(?i始终是同一个值)，RSSR的自由度为n-2。 所以F=~F(1，n-2) 在显著性水平α的情况下，如果F＞Fα，则拒绝原假设，即总体存在线性相关；反之，如果F＜Fα，则不能拒绝原假设，就没有必要拟合回归直线了。 F的意义：RSSR大于RSS，说明了引入回归直线后能够解释掉的误差大，反映了回归直线是有较强意义的。 第节 一、决定系数与相关系数 TSS表示总离差平方和，RSSR表示通过回归直线被解释掉的误差，RSS表示回归直线未能作出解释的离差平方和。如果回归直线对样本观测点拟合得越好，那么各样本观测点与回归直线靠得越近（RSS越小），由样本回归直线作出解释的离差平方和在总离差平方和中的比重也将越大。反之，拟和程度越差，RSSR占TSS的比重越小。 RSSR/TSS就是综合度量回归直线对样本观测值拟和优度的指标，也称决定系数/判定系数，用r2表示。r2=?i-)2/ 也可利用消减误差比例原理PRE=(E1-E2)/E1来解释。 r2=?i-)2/可化简为：r2= （在SPSS中显示为R Square） r= ，r为简单线性相关系数／皮尔逊相关系数，取值范围由0到1。 r2是就回归模型而言，度量回归模型拟和优度；r是就两个变量而言，说明两变量间的依存内程度；r2是非负数，r可正可负。 二、协方差 r = = = Var(X)是变量X的方差，Var(Y)是变量Y的方差，Cov（X,Y）是变量X和Y的协方差。 将变量x和y的数值对标在坐标图上，计算x和y的均值和，把坐标轴移到和，得到新坐标轴，观测值变为： (x1-),(x