普通最小二乘法 (2).docVIP

普通最小二乘法（ OLS） 普通最小二乘法（ Ordinary Least Square ， 称 OLS），是 用最多的 参数估 方法，也是从最小二乘原理出 的其他估 方法的基 ，是必 熟 掌握的一种方法。 在已 得 本  （i=1,2,  ?,n ）的情况下（  2.2.1 中的散 点），假如模型（  2.2.1 ）的参数估 量已 求得到，  和 ，并且是最合理 的参数估 量，那么直 方程（ 2.2.1 中的直 ） i=1,2, ?,n (2.2.2) 能 最好地 合 本数据。其中 被解 量的估 ，它是由参数估 量和解 量的 算得到的。那么，被解 量的估 与 在 体上最 接近，判断的 准是二者之差的平方和最小。 (2.2.3) 什么用平方和？因 二者之差可正可 ， 求和可能将很大的 差抵消 掉，只有平方和才能反映二者在 体上的接近程度。 就是 最小二乘原 。那么，就可以从最小二乘原 和 本 出 ，求得参数估 量。 由于 是 、 的二次函数并且非 ，所以其 极小 是存在的。根据 彼塔法 ，当 Q 、 的一 偏 数 0 ， Q达到最小。即 (2.2.4) 容易推得特征方程： 解得： （2.2.5 ） 所以有： 2.2.6 ） 于是得到了符合最小二乘原则的参数估计量。 为减少计算工作量，许多教科书介绍