第一章最小二乘估计和其性质.PDFVIP

第一章 最小二乘估计及其性质 最小二乘法的产生可以追溯到 1795 年，伟大的数学家 Gauss 就应用了该方法准确地预 测神谷星的运行轨道。然而，其深入研究从 20 世纪 60 年代才真正开始，而且随着计算机技 术和计算速度的飞跃进步，以及科学计算问题的实际需要而有了长足的发展。最小二乘法不 仅仅在统计学中，就是在运筹学、逼近论、控制论等数学的其它分支中都是很重要的求解方 法。 §1 最小二乘估计 假设Y 为因变量, X  ,X  , L, X  为对Y 有影响的 p - 1个自变量,并且它们之间具有 1  2  p - 1  线性关系  Y = b + b X  + L+ b X  + e  (1.1) 0 1  1  p- 1  p - 1  其中e为误差项,它表示除了 X  ,X  , L, X  之外其它因素对 Y 的影响以及试验或测量误 1  2  p - 1  差， b ,b ,L, b 是待估计的未知参数.假定因变量Y 和自变量 X  ,X  , L, X  的n组观 0 1 p-1  1  2  p - 1  测值为 (x ,L,x ),i= 1,L, n，它们满足 i1 i,p - 1  y  = b + b x + L+ b x + e ,i = 1,L, n， (1.2) i  0 1 i1 p- 1 ip -1  i  其中误差项 e ,i= 1,L, n 满足 Gauss-Markov 假设，即  { i  }  E (e ) = 0 , Var ( e ) = s 2 , Cov(e,e)= 0(i j).  (1.3) i  i  i i  若用矩阵形式表示,则(1.2)变形为 Ê y  ˆ Ê1 x  L x  ˆ Êb 0  ˆ Ê e ˆ 1  11  1,  p - 1  Á ˜ 1  Á ˜ Á ˜ Á ˜ y  1  x  L x  Áb ˜ e  Á 2  ˜ Á 21  2 , p -1  ˜ 1  Á 2  ˜ = Á ˜+ Á M  ˜ Á M M M ˜ M Á M ˜