高中生都能看懂的最小二乘法原理.pdfVIP

高中生都能看懂的最小二乘法原理

在简单线性回归等曲线拟合中提到的最多的最小二乘法，那么下

面引用《正态分布的前世今生》里的内容稍微简单阐述下。

一、最小二乘法的历史

1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神

星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚

齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据

开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有

结果。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因

里希·奥尔伯斯根据高斯计算出来的轨道重新发现了谷神星。

高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动

论》中。

法国科学家勒让德于1806年独立发明“最小二乘法”，但因不为

世人所知而默默无闻。

勒让德曾与高斯为谁最早创立最小二乘法原理发生争执。

1829年，高斯提供了最小二乘法的优化效果强于其他方法的证明，

因此被称为高斯-马尔可夫定理。（来自于wikipedia）

二、原理

我们口头中经常说：一般来说，平均来说。如平均来说，不吸烟

的健康优于吸烟者，之所以要加“平均”二字，是因为凡事皆有例外，

总存在某个特别的人他吸烟但由于经常锻炼所以他的健康状况可能会

优于他身边不吸烟的朋友。而最小二乘法的一个最简单的例子便是算

术平均。

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最

小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简

便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的

平方和为最小。用函数表示为：

使误差「所谓误差，当然是观察值与实际真实值的差量」平方和

达到最小以寻求估计值的方法，就叫做最小二乘法，用最小二乘法得

到的估计，叫做最小二乘估计。当然，取平方和作为目标函数只是众

多可取的方法之一。

最小二乘法的一般形式可表示为：

有效的最小二乘法是勒让德在1805年发表的，基本思想就是认

为测量中有误差，所以所有方程的累积误差为

我们求解出导致累积误差最小的参数即可：

勒让德在论文中对最小二乘法的优良性做了几点说明：

•最小二乘使得误差平方和最小，并在各个方程的误差之间建立了

一种平衡，从而防止某一个极端误差取得支配地位

•计算中只要求偏导后求解线性方程组，计算过程明确便捷

•最小二乘可以导出算术平均值作为估计值

对于最后一点，从统计学的角度来看是很重要的一个性质。推理

如下：假设真值为θ,x1,?,xn为n次测量值,每次测量的误差为ei=xi?θ，

按最小二乘法，误差累积为

求解使达到最小，正好是算术平均。

由于算术平均是一个历经考验的方法，而以上的推理说明，算术

平均是最小二乘的一个特例，所以从另一个角度说明了最小二乘方法

的优良性，使我们对最小二乘法更加有信心。

三、几何解释

从一个简单的例子开始，已知平面上有三个点（1,2），（0,2），

（2，3），我们想用一条直线去拟合它，像高中时一样，设这条直线

的方程为Y=kx+b(一次函数)，我们希望这条直线可以同时通过这三个

点，也就是这条直线的参数要满足：

学过初中解方程组的同学知道，这个方程组是无解的。

怎么解一个无解的方程组呢？

为了解释的方便，我们用X1表示k,用X2表示b,则：

写出矩阵的形式：

从列的角度看

一旦写出列的形式，我们很自然的想到把向量a1a2和b画到图

上。

要找到解，就要找到a1和a2的一个线性组合，使得组合的向量

刚好等于b,可惜任何的a1和a2的线性组合，只能出现在a1和a2所

在的平面s上（高中必修二第二章平面基本性质二的推论二两条相交直

线确定一个平面，a1和a2可以认为是两条相交直线），但是向量b

不在平面s上