2经典一元线性回归模型.pptxVIP

§2.3一元线性回归模型的统计检验 一、拟合优度检验 二、变量的显著性检验 三、参数的置信区间 回归分析是要通过样本所估计的参数来代替总体的真实参数，或者说是用样本回归线代替总体回归线。 尽管从统计性质上已知，如果有足够多的重复 抽样，参数的估计值的期望（均值）就等于其总体的参数真值，但在一次抽样中，估计值不一定就等于该真值。 那么，在一次抽样中，参数的估计值与真值的差异有多大，是否显著，这就需要进一步进行统计检验。 主要包括拟合优度检验、变量的显著性检验及参数的区间估计。 一、拟合优度检验 拟合优度检验：对样本回归直线与样本观测值之间拟合程度的检验。 度量拟合优度的指标：判定系数（可决系数）R2 问题：采用普通最小二乘估计方法，已经保证了模型最好地拟合了样本观测值，为什么还要检验拟合程度？ 1、总离差平方和的分解 已知由一组样本观测值（Xi,Yi），i=1,2…,n得到如下样本回归直线 如果Yi=?i即实际观测值落在样本回归“线”上，则拟合最好。可认为，“离差”全部来自回归线，而与“残差”无关。 对于所有样本点，则需考虑这些点与样本均值离差的平方和,可以证明：记总体平方和（Total Sum of Squares）回归平方和（Explained Sum of Squares）残差平方和（Residual Sum of Squares ）TSS=ESS+RSS Y的观测值围绕其均值的总离差(total variation)可分解为两部分：一部分来自回归线(ESS)，另一部分则来自随机势力(RSS)。在给定样本中，TSS不变， 如果实际观测点离样本回归线越近，则ESS在TSS中占的比重越大，因此 拟合优度：回归平方和ESS/Y的总离差TSS2、可决系数R2统计量 称 R2 为（样本）可决系数/判定系数（coefficient of determination)。 可决系数的取值范围：[0，1] R2越接近1，说明实际观测点离样本线越近，拟合优度越高。 在例2.1.1的收入-消费支出例中， 注：可决系数是一个非负的统计量。它也是随着抽样的不同而不同。为此，对可决系数的统计可靠性也应进行检验，这将在第3章中进行。 n n? i ? ie2 ? ( yi ? ??? ?? x )2 ，称为“残差平方和”(Sum of Squaredi?1 i?1Residuals，简记 SSR；或 Residual Sum of Squares，简记 RSS)。“普通最小二乘法”(Ordinary Least Squares，简记 OLS)就是选 择?? , ?? ，使得残差平方和最小化。可将 OLS 的目标函数写为in n? i ? i i?1 i?1e2 ? ( y ? ??? ?? x )2(4.6)min?? , ??OLS 是线性回归模型的基本估计方法。此最小化问题的一阶条件为? ?? i i?1? i i?1e2 ? ?2 ( y ? ??? ?? x ) ? 0?? ??(4.7)? ?? i i?1? i i?1e2 ? ?2 ( y ? ??? ?? x )x ? 0????ei ? y ? (?? ? ?? xi ) ? yi ? y?i可将残差写为根据正规方程组(4.7)：?n??ei? 0? i?1(4.17)?n?? xiei? 0?? i?1写为向量内积的形式：? e1 ?? ?? e1 ?? ??1… 1? ? .? 0,? x1……xn ? ? .? 0(4.18)? ?? ?ee? n ?? n ?定义常数向量、残差向量、解释向量以及拟合值向量为?1?? e1 ? ? x1 ? ? y?1 ?(4.19)1 ? ?? ?, e ? ? ? ?, x ? ? ? ?, y?? ? ? ?? ? ? ? ? ?? ??1?? ?? ?? ?exy?? n ?? n ?? n ?? ?n?1则方程(4.18)可写为x?e ? 01?e ? 0,(4.20)1.故残差向量e 与常数向量1正交，而且e 也与解释向量 x 正交。2.将常数项视为取值都为 1的解释变量，而? 为此变量的系数。残差向量与所有解释变量(包括1与 x )正交。3.残差向量e 也与拟合值向量 y? 正交，因为:? e1 ?n nn n?... y?n ?? ?. ? ? ? y?iei? ?(?? ? ?? xi )ei? ?? ?ei ? ?? ? xiei ? 0? ?y??e ? ? y?1? i? 1 本部分?0? e ??i???1???本部分?0i?1 i?1(4.21)? n ?OLS 残差与解释变量及拟合值的正交性是 OLS 的重要特征， 为推导证明提供了方便。 如果Yi=?i即实际观测值