最小二乘法的历史回顾与现状.pdfVIP

第15 卷 第1 期 中 国 科 学 院 研 究 生 院 学 报 V o l15　N o 1 1998 年 5 月　　　　　　　Journal of Graduate Schoo l,A cadem ia Sinica　　　　　　　 M ay　1998 最小二乘法的历史回顾与现状 陈希孺　院士 (本院数学教学部) 摘　要　对最小二乘法的意义、发现经过及与之有关的高斯正态误差理论的发展情 况, 作了简要论述; 对这个方法在应用上的意义、理论上的进展以及与之相关的一些 数理统计学问题, 也作了概括性的介绍. 关键词　最小二乘法, 线性统计模型, M 估计 1　最小二乘法的定义 假定在研究一个问题时, 从某种理论或假定出发, 得到了一个模型. 根据这个模型, 我们感 兴趣的某个量有其理论值, 同时我们可以对这个量进行实际观测, 而得出其观测值. 由于种种 原因——例如模型不完全正确以及观测有误差等, 理论值与观测值会有差距, 这差距的平方和 H = (理论值 - 观测值) 2 ( 1) ( ) 可以作为理论与实测符合程度的度量. 1 式中的求和是针对若干次不同的观测, 通常, 理论值中包 ( ) ( ) 含有未知参数 或参数向量 . 最小二乘法 , 以下简记为 要求选择这 L east Squares M ethod L SE 样的 值 , 使 达到最小. 因此, 的直接意义, 是作为一种估计未知参数的方法. H L SE 举一个简单例子. 设有一个未知量 , 对它作了 次测量, 分别得出 , …, . 在此, 理论 n x 1 x n n 2 值是 , 观测值为 , ( 1) 式定义的 = ( ) = ( - ) , 使 ( ) 达到最小的 值为 = x i H H i= 1 x i H ( + …+ ) = . 因此, 按 应取各次观察值的平均值 去估计 . 这就是常用的取算术 x 1 x n n x L SE x n 2 平均的方法从 角度的解释. 本例中最小值为 ( ) = ( i - ) , 其大小可以作为测量 L SE