第章：一元线性回归方法.docVIP

第2章：一元线性回?归方法 2.0问题导入? 在前述游乐?场猜体重的?事例中，经营者获得?了一个身高?与体重的样?本观察数据?（见表2-0），你如何利用?这个观测数?据集合来改?善你的经营?业绩呢？ 表2-0 身高与体重?的样本观察?数据 身高超过5?英尺以上的?（单位：英寸） 体重（单位：磅） 5 9 13 12 10 11 8 9 10 12 11 9 10 12 8 9 10 15 13 11 140 157 205 198 162 174 150 165 170 180 170 162 165 180 160 155 165 190 185 155 2.1 回归模型概?述 对于我们所?关心的因变?量而言，如果我们猜?测解释变量?是对其惟一?存在系统性?影响的因素?，或二者之间?存在均衡关?系，而且这种影?响或均衡关?系是线性的?，则一元线性?总体回归模?型可设定为?如下的形式?： (2-1-1) 其中，和分别为一?常系数，为一随机变?量，并至少应满?足 。在上述设定?下，显然有： (2-1-2) (2-1-2)被称为总体?回归方程。 作为一个简?单的推广，多元线性总?体回归模型?可设定为： （2-1-3） 其中至少应?满足，总体回归方?程自然为： （2-1-4） 接下来，我们希望通?过获得因变?量和解释变?量的一个容?量为的样本?观测数据集?，来对模型(2-1-1)中的参数和?做出正确的?估计。在多元情形?中，样本数据集?表示为：，待估计参数?为：。我们如何找?到这样一种?估计方法呢?？ 假定我们找?到了一种估?计方法（正确与否暂?时还无法判?断），利用样本数?据，我们对模型?（2-1-1）参数和给出?的估计量（值）为和。显然，和不能通过?简单地将代?入(2-1-1)而解出。但与(2-1-1)相对应，我们可以建?立相应的样?本回归模型?： (2-1-5) 其中，和是（假定）根据样本数?据求出的对?和的估计值?，而则称为样?本回归模型?的残差或剩?余，它可以被理?解为利用样?本数据对的?可能取值的?一种估计。需要特别指?出的是，相对于给定?的样本数据?（数据是确定?的），(2-1-5)是一个确定?性方程，而相对于给?定容量的样?本（数据是未确?定的），(2-1-5)则是一个随?机性方程。与(2-1-5)所对应的样?本回归方程?被定义为： (2-1-6) 显然应该有?： (2-1-7) 在多元情形?中，样本回归模?型为： （2-1-8） 样本回归方?程为： （2-1-9） 不难看出，样本回归模?型（方程）与总体回归?模型（方程）的设定既存?在一定的差?异又有一定?的联系。那是因为，总体回归模?型（方程）是根据应变?量与解释变?量所有可能?的取值而确?定的，而样本回归?模型（方程）则是根据其?中的一组特?定的取值而?确定的。一个依据总?体情况，而一个则依?据部分情况?。依据部分对?总体的一个?推断，自然不敢肯?定一定符合?总体。因此，回归分析的?真正含义是?，根据有限的?部分情况（样本数据），通过“取伪存真、由此及彼、由表及里”性的分析，发现（回归到）事物的真理?（真值）。所以，就是对真值?的一种估计?值（量）。 现在，我们需要在? (2-1-5) 设定的基础?上，寻找到一种?估计方法，得出关于和?的一种合理?、有效的估计?（计算）公式： (2-1-10) (2-1-11) 这就是下一?小节的任务?。 2.2 模型参数的?普通最小二?乘估计方法?（OLS） 普通最小二?乘估计方法?（OLS—Ordin?ary Least? Squar?es）是最基础的?参数估计方?法。它不是参数?估计的唯一?方法，比如，还存在最大?或然法（ML）、矩估计方法?等。普通最小二?乘估计方法?的基本思路?是：对于一个给?定的样本，的选定值应?使得由(2-1-9)确定的样本?回归方程（直线）对样本数据?拟合得最好?。如何确立具?体的拟合标?准呢？对容量为的?样本，普通最小二?乘估计法给?出的拟合最?好的标准是?： (2-2-1) 在一元情形?中，（2-2-1）意味着： （2-2-2） 显然，对于给定的?样本数