第二章：一元线性回归方法.docVIP

PAGE  PAGE 16 第2章：一元线性回归方法 2.0问题导入 在前述游乐场猜体重的事例中，经营者获得了一个身高与体重的样本观察数据（见表2-0），你如何利用这个观测数据集合来改善你的经营业绩呢？ 表2-0 身高与体重的样本观察数据 身高超过5英尺以上的（单位：英寸） 体重（单位：磅）591312101189101211910128910151311140157205198162174150165170180170162165180160155165190185155 2.1 回归模型概述 对于我们所关心的因变量而言，如果我们猜测解释变量是对其惟一存在系统性影响的因素，或二者之间存在均衡关系，而且这种影响或均衡关系是线性的，则一元线性总体回归模型可设定为如下的形式： (2-1-1) 其中，和分别为一常系数，为一随机变量，并至少应满足 。在上述设定下，显然有： (2-1-2) (2-1-2)被称为总体回归方程。 作为一个简单的推广，多元线性总体回归模型可设定为： （2-1-3） 其中至少应满足，总体回归方程自然为： （2-1-4） 接下来，我们希望通过获得因变量和解释变量的一个容量为的样本观测数据集，来对模型(2-1-1)中的参数和做出正确的估计。在多元情形中，样本数据集表示为：，待估计参数为：。我们如何找到这样一种估计方法呢？ 假定我们找到了一种估计方法（正确与否暂时还无法判断），利用样本数据，我们对模型（2-1-1）参数和给出的估计量（值）为和。显然，和不能通过简单地将代入(2-1-1)而解出。但与(2-1-1)相对应，我们可以建立相应的样本回归模型： (2-1-5) 其中，和是（假定）根据样本数据求出的对和的估计值，而则称为样本回归??型的残差或剩余，它可以被理解为利用样本数据对的可能取值的一种估计。需要特别指出的是，相对于给定的样本数据（数据是确定的），(2-1-5)是一个确定性方程，而相对于给定容量的样本（数据是未确定的），(2-1-5)则是一个随机性方程。与(2-1-5)所对应的样本回归方程被定义为： (2-1-6) 显然应该有： (2-1-7) 在多元情形中，样本回归模型为： （2-1-8） 样本回归方程为： （2-1-9） 不难看出，样本回归模型（方程）与总体回归模型（方程）的设定既存在一定的差异又有一定的联系。那是因为，总体回归模型（方程）是根据应变量与解释变量所有可能的取值而确定的，而样本回归模型（方程）则是根据其中的一组特定的取值而确定的。一个依据总体情况，而一个则依据部分情况。依据部分对总体的一个推断，自然不敢肯定一定符合总体。因此，回归分析的真正含义是，根据有限的部分情况（样本数据），通过“取伪存真、由此及彼、由表及里”性的分析，发现（回归到）事物的真理（真值）。所以，就是对真值的一种估计值（量）。 现在，我们需要在 (2-1-5) 设定的基础上，寻找到一种估计方法，得出关于和的一种合理、有效的估计（计算）公式： (2-1-10) (2-1-11) 这就是下一小节的任务。 2.2 模型参数的普通最小二乘估计方法（OLS） 普通最小二乘估计方法（OLS—Ordinary Least Squares）是最基础的参数估计方法。它不是参数估计的唯一方法，比如，还存在最大或然法（ML）、矩估计方法等。普通最小二乘估计方法的基本思路是：对于一个给定的样本，的选定值应使得由(2-1-9)确定的样本回归方程（直线）对样本数据拟合得最好。如何确立具体的拟合标准呢？对容量为的样本，普通最小二乘估计法给出的拟合最好的标准是： (2-2-1) 在一元情形中，（2-2-1）意味着： （2-2-2） 显然，对于给定的样本数据而言，，即和的选定值不同，的取值也不同，它是和的一个二元二次函数。和选什么值可以使(2-2-1)中的残差平方和最小呢？微积分学中的极值原理告诉我们，(2-2-1)存在最小值，其充分必要条件是：