第二章节 一元回归模型.pptVIP

1、最小二乘原理 根据被解释变量的所有观测值与估计值之差的平方和最小的原则求得参数估计量。 为什么取平方和？ 一、参数的普通最小二乘估计（OLS） 2、正规方程组 该关于参数估计量的线性方程组称为正规方程组（normal equations）。 3、参数估计量 求解正规方程组得到结构参数的普通最小二乘估计量（ordinary least squares estimators）及其离差形式： 分布参数的普通最小二乘估计量 4、“估计量”（estimator）和“估计值” (estimate)的区别 如果给出的参数估计结果是由一个具体样本资料计算出来的，它是一个“估计值”，或者“点估计”，是参数估计量的一个具体数值； 如果把上式看成参数估计的一个表达式，那么，则是Yi的函数，而Yi是随机变量，所以参数估计也是随机变量，在这个角度上，称之为“估计量”。 二、参数估计的最大似然法(ML)(略） 1、概述 当模型参数估计出后，需考虑参数估计值的精度，即是否能代表总体参数的真值，或者说需考察参数估计量的统计性质。 准则： 线性性(linear)，即它是否是另一随机变量的线性函数； 无偏性(unbiased)，即它的均值或期望值是否等于总体的真实值； 有效性(efficient)，即它是否在所有线性无偏估计量中具有最小方差。 这三个准则也称作估计量的小样本性质。拥有这类性质的估计量称为最佳线性无偏估计量（best liner unbiased estimator, BLUE）。 三、最小二乘估计量的性质 当不满足小样本性质时，需进一步考察估计量的大样本或渐近性质(asymptotic properties)： 渐近无偏性，即样本容量趋于无穷大时，是否它的均值序列趋于总体真值； 一致性，即样本容量趋于无穷大时，它是否依概率收敛于总体的真值； 渐近有效性，即样本容量趋于无穷大时，是否它在所有的一致估计量中具有最小的渐近方差。 四、参数估计量的概率分布及随机干扰项方差的估计（略） §2.4 一元线性回归模型的统计检验Statistical Test of Simple Linear Regression Model 一、拟合优度检验 二、变量的显著性检验 三、参数的置信区间 说 明 回归分析是要通过样本所估计的参数来代替总体的真实参数，或者说是用样本回归线代替总体回归线。 尽管从统计性质上已知，如果有足够多的重复 抽样，参数的估计值的期望（均值）就等于其总体的参数真值，但在一次抽样中，估计值不一定就等于该真值。 那么，在一次抽样中，参数的估计值与真值的差异有多大，是否显著，这就需要进一步进行统计检验。 主要包括拟合优度检验、变量的显著性检验及参数的区间估计。 1、回答一个问题 拟合优度检验：对样本回归直线与样本观测值之间拟合程度的检验。 问题：采用普通最小二乘估计方法，已经保证了模型最好地拟合了样本观测值，为什么还要检验拟合程度？ 一、拟合优度检验Goodness of Fit, Coefficient of Determination 2、总离差平方和的分解 Y的i个观测值与样本均值的离差 由回归直线解释的部分 回归直线不能解释的部分 离差分解为两部分之和 对于所有样本点，则需考虑离差的平方和： 记 总体平方和（Total Sum of Squares） 回归平方和（Explained Sum of Squares） 残差平方和（Residual Sum of Squares ） TSS=ESS+RSS Y的观测值围绕其均值的总离差(total variation)可分解为两部分：一部分来自回归线(ESS)，另一部分则来自随机势力(RSS)。 在给定样本中，TSS不变， 如果实际观测点离样本回归线越近，则ESS在TSS中占的比重越大，因此 拟合优度：回归平方和ESS/Y的总离差TSS 3、可决系数R2统计量 是一个非负的统计量。取值范围：[0，1] 越接近1，说明实际观测点离回归线越近，拟合优度越高。 随着抽样的不同而不同。为此，对可决系数的统计可靠性也应进行检验，这将在第3章中进行。 说明 在一元线性模型中，变量的显著性检验就是判断X是否对Y具有显著的线性性影响。 变量的显著性检验所应用的方法是数理统计学中的假设检验。 通过检验变量的参数真值是否为零来实现显著性检验。 二、变量的显著性检验 Testing Significance of Variable 1、假设检验（Hypothesis Testing） 所谓假设检验，就是事先对总体参数或总体分布形式作出一个假设，然后利用样本信息来判断原假设是否合理，即判断样本信息与原假设是否有显著差异，从而决定是否接受或否定