第一章回归分析.docVIP

第一章 回归分析 第一节 概述 1、常见的变量间的关系 一类称为确定性关系； 一类称为非确定性关系或相关关系。 2、变量的分类 自变量：可以在某一范围内取确定数值的。 因变量或随机变量：取值可观测，但不可控制的变量。 3、回归分析及线性回归分析 研究一个（或几个）自变量于一个随机变量之间的相关关系时所建立的数学模型及所作的统计分析称为回归分析。 如果所建立的模型是线性的，就叫线性回归分析。 4、回归方程 一元回归方程： 多元回归方程： 第二节 一元线性回归分析 一、一元线性回归参数的最小二乘估计 考虑因变量y与自变量x 的一元线性回归方程 (1) 其一元线性回归模型为： （2） 为论述方便，令： y=[y1,y2,……yn]T ε=[ε1 ,ε 2……εn]T x=[x1,x2, ……xn]T 则由（2）式可构成y=Aβ+ε, ε～N(0,Iσ2) (3) 一般采用最小二乘估计法求定β0， β1的最佳估值 ，即在 的要求下求定 利用最小二乘法求得其结果为： 可得到一元线性回归方程为： 二、估值的性质 三、一元回归的方差分析和线性关系的显著性检验 所谓回归方程的显著性检验，就是检验假设：所有回归系数都等于零，也即检验H：β1=0 为此，我们首先把变量y的观测值yi与其平均值 之间的总偏离平方和Qy分解为回归平方和QR和残差平方和Qε两部分，即： 构造统计量： 当原假设成立时，F回～F1，n-2，对于给定的置信水平α， 当F回〉F1，n-2（α）时，我们拒绝原假设H，否则就接受H。 四、样本相关系数γ 第三节 多元线性回归分析 一、多元线性回归的最小二乘估计 二、参数的中心化和标准化 1、中心化 2、标准化 除了中心化，对自变量经常做的另一种处理叫标准化，记 三、多元回归的统计性质 四、多元回归方程的显著性检验 所谓回归方程的显著性检验，就是检验假设：所有回归系数都等于零，即检验 H:β1= β2= …=βm=0 取显著性水平α，如按上式计算的F〉Fα(m.n-m-1),则拒绝原假设H，说明回归效果显著，否则接受原假设。 五、多元回归系数的显著性检验 回归方程的显著性检验是对线性回归方程的一个整体性检验，如果我们检验的结果是拒绝原假设，这意味因变量Y线性地依赖于自变量X1，X2 ，…，Xm这个回归自变量的整体，但是并不排除Y并不依赖于其中某些自变量，即某些βi可能等于零。于是在回归方程显著性检验被拒绝之后，还需要对每个自变量逐一做显著性检验，即要检验：H0K： βk=0 (k=1,2, …,m)。 六、多元回归的预测 所谓预测就是对给定的回归自变量的值，预测对应的回归因变量所可能取得值。对于自变量x1,x2, …xm的一组取定值（x10，x20 ，…，xm0）可由回归方程得到y的一个对应值为： 在应用上，有时区间预测更为我们所关心，所谓区间预测就是找一个区间，使得被预测量落在这个区间内的概率达到预先给定的值。我们假定模型误差服从正态分布，构成统计量： 第三节 回归方程的最佳选择 一、评价回归方程的标准 1、平均残差平方和最小（RMSq准则） 设有自变量X1，X2……Xm，因变量为Y， 为随机变量， ～（0，σ2）， 为ε的估值，Qε为残差平方和， Qε= * ，n为样本数，m为自变量的个数，我们可以得到方差σ2的估值为σ2，即： σ2=Qε/（n-m-1）= * /（n-m-1） （19） 随着m的增大，σ2先是减小，而后稳定，最后又增大。因此，以σ2之值最小为准则来选择自变量和回归模型是合理的。 2、均方误为最小导出的准则———Cp准则 3、AIC准则 它可以表述为“使AIC=-2ln（模型似然度）+2（模型自由参数个数） 达到极小的那组参数是最优的参数选择” AIC统计量为： 4、AIC准则的推广 二、最优回归模型的选择 1、计算所有可能的回归 把m个自变量的所有可能的组合，一一与y建立线性回归方程，然后按前述介绍的准则，逐一进行比较，从中挑选出最优的回归方程。 2、逐步回归法 1）向前逐步回归法 向前逐步回归法的计算