[]最小二乘法.pptVIP

统计学补充知识 矩估计法 （1）要点就是用样本矩代替总体矩来估计总体的参数！ （2）在求各阶矩时，求原点矩或求中心矩都可以，当然，对每一阶而言，二者只能选其一。 注意几个概念的区别 误差：即随机项 残差：观测值减去拟合值，是误差的估计值 离差：样本观测值减去样本平均值 （以后我们都用小写字母表示离差） 3.回归直线的性质（数值性质） 残差和=0 平均值相等 拟合值与残差不相关 自变量与残差不相关 注：此处的小写字母不是表示离差，而就是原值，其后4张幻灯片都是一样的意思，但以后我们常见的还是用小写字母表示离差。 1．估计残差和为零（Residuals Sum to zero） 由第26张幻灯片的（1）式直接得此结论无须再证明。并推出残差的平均数也等于零。 2．Y的真实值和拟合值有共同的均值（The actual and fitted values of yi have the same mean） 3．估计残差与自变量不相关（Residuals are unrelated with independent variable） 4．估计残差与拟合值不相关（Residuals are unrelated with fitted value of yi） 数值性质与统计性质 OLS得到的数值性质是指由于运用普通最小二乘法而得以成立的那些性质，而不管数据是怎样产生的。 OLS得到的统计性质是指仅在数据产生的方式满足一定的假设下才得以成立的性质。（课本P99---100共有基本的四个假设） 4.最小二乘估计量的统计性质 线性 无偏性 有效性（最小方差性） (1)线性 参数估计量 ， 是Yi的一个线性函数 参数估计量是一个随机变量，采用不同的参数估计方法，会构造出不同的参数估计量 参数估计值是采用样本数据计算的具体数值，不同样本会得出不同的参数估计值 (2)无偏性 指参数估计量的均值等于总体模型参数值，即 (3)有效性（最小方差性）P105 指在所有线性、无偏估计量中，该参数估计量方差最小 有效性（最小方差） OLS参数估计量的有效性指的是：在一切线性、无偏估计量中，OLS参数估计量的方差最小。 所有参数估计量 线性参数估计量 无偏参数估计量 最小二乘 参数估计量 高斯-马尔柯夫定理 如果满足古典线性回归模型的基本假定，则在所有无偏估计量中，最小二乘估计（OLS）量具有最小方差性，即是最优线性无偏估计量（合称BLUE性质） （Best Linear Unbiased Estimator） 对于高斯-马尔柯夫定理的补充材料 以下9个幻灯片的内容作为补充，有兴趣的同学可以参考，不要求掌握！ 1、线性：参数估计量是Yi的线性函数 2、无偏性：参数估计量 的均值（期望）等于模型参数值。即 2、无偏性： 3、有效性：在所有线性、无偏估计量中，最小二乘估计量具有最小方差。 证明最小方差性 4、结论 普通最小二乘估计量具有线性性、无偏性、最小方差性等优良性质。 具有这些优良性质的估计量又称为最佳线性无偏估计量，即BLUE估计量（the Best Linear Unbiased Estimators）。 显然这些优良的性质依赖于对模型的基本假设。 三. 样本判定系数与拟合优度检验 拟合优度评价 由最小二乘法得出的直线能够反映这些点之间的关系吗？ 对这些点之间的关系或趋势反映到了何种程度？ 于是必须经过某种检验或者找出一个指标，在一定可靠程度下，根据指标值的大小，对拟合的优度进行评价。 Y X 0 * * * * * * * △ * * * * Y9 总离差平方和的分解 由回归方程解释的部分，表示解释变量X对Y的线性影响 残差项，表示回归方程不能解释的部分 总离差平方和（TSS） 回归平方和（ESS） 残差平方和（RSS） 总离差平方和的分解 总离差平方和的分解 平方和分解的意义 TSS=ESS+RSS 被解释变量Y总的变动（差异）= 解释变量X引起的变动（差异） + 除X以外的因素引起的变动（差异） 如果X引起的变动在Y的总变动中占很大比例，那么X很好地解释了Y；否则，X不能很好地解释Y。 第二章 一元线性回归模型 最小二乘法产生的历史 最小二乘法最早称为回归分析法。由著名的英国生物学家、统计学家道尔顿（F.Gallton）——达尔文的表弟所创。 早年，道尔顿致力于化学和遗传学领域的研究。 他研究父亲们的身高与儿子们的身高之间的关系时，建立了回归分析法。 最小二乘法的地位与作用 现在回归分析法已远非道尔顿的本意 已经成为探索变量之间关系最重要的方法，用以找出变量之间关系的具体表现形式。 后来，回归分析法从其方法的数学原理——残差平方和最小（平方乃二乘也）出发，改称为最小二乘法。 父亲