线性及非线性最小二乘问题.pptVIP

第 5 章 线性与非线性最小二乘问题 § 5.1 前言 1801 年 , 意大利天文学家 朱赛普 · 皮亚齐 发现了第一 颗小行星 谷神星 . 经过 40 天的跟踪观测后 , 由于谷神星 运行至太阳背后，使得皮亚齐失去了谷神星的位置。 随后全世界的科学家利用皮亚齐的观测数据开始寻找 谷神星 , 但是根据大多数人计算的结果来寻找谷神星都 没有结果 . 时年 24 岁的 高斯 也计算了谷神星的轨道 . 奥 地利天文学家 海因里希 · 奥尔伯斯 根据高斯计算出来的 轨道重新发现了谷神星 . 高斯 使用的最小二乘法的方法发表于 1809 年他的著 作《天体运动论》中 . 而法国科学家 勒让德 于 1806 年独立发现“最小二乘 法” , 但因不为时人所知而默默无闻 . 两人曾为谁最早 创立最小二乘法原理发生争执 . 1829 年 , 高斯 提供了最小二乘法的优化效果强于其 他方法的证明 , 称为 高斯 - 马尔可夫定理 . 无约束最优化问题最小二乘的形式 1 1 2 2 min f ( x ) ? || r ( x ) || ? [ r ( x )] , m ? n . ? i n x ? R 2 2 i ? 1 m r ( x ) ? ( r 1 ( x ), r 2 ( x ), , r m ( x )) T r