数学模型讲座艾世猛最小二乘法最小二乘法是由数学王子高斯.docVIP

数学模型讲座 艾世猛 第四讲 最小二乘法 最小二乘法是由数学王子高斯（图1）在18岁的时候（1796年）首先提出来的，之后很多数学家对这种方法不断的进行了完善和发展。最小二乘法可以看成是一种概率统计的方法，也是常用的一种方法。概率统计是处理随机现象的数学方法。自然界和人类社会中的现象可以分为两类，一类是确定性现象，比如太阳总是从东边升起，水总是往低处流，宏观物体的运动服从牛顿运动定律等等。除了这些现象以外，还存在很多随机现象，比如丢一枚硬币可能出现正面也可能出现反面；明天有可能下雨也有可能不下雨；明天股市有可能上涨也有可能下跌；甚至我们每个人来到这个世界上也是很偶然的！所以随机现象充斥着我们的世界。 在统计学中，两个变量和的关系可以表示为： 这就是统计模型，它与其它数学分支（比如高等数学）的区别是多了一个尾巴（希腊字母，读作epsilon），称为误差。很多时候，我们不可能精确的知道两个变量的关系，存在一定的误差，统计模型是更加合理的一种方法。 我们往往也不知道两个变量和之间的内在规律，这时我们可以把它们之间的关系看成一个“黑箱”，或看成一个车间，输入，通过黑箱，得到输出。我们可以通过输入多个不同的，观察输出的变化规律，从而找出和之间的关系，这种方法称为“测试分析”。相对而言，分析两个变量之间的内在规律（比如万有引力定律）的方法称为“机理分析”。这两种方法是我们认识客观事物的常用方法。这两种方法经常结合使用，我们往往是应用“机理分析”建立模型，比如建立人口变化的指数增长模型： 用“测试分析”的方法来估计模型的参数，比如估计参数，。 最小二乘法是估计参数的一种常用方法。下面由一个简单的例子引入最小二乘法的概念。 一、线性回归模型 先解释一下“回归”一词的由来。“回归”英文为“regression”，是由英国著名生物学家兼统计学家Galton（高尔顿，达尔文的表兄弟）在研究人类遗传问题时提出的。为了研究父代与子代身高的关系，Galton收集了1078对父亲及其儿子的身高数据。用X，Y分别表示父亲和儿子的身高，将这1078对数据（）标在直角坐标系上（称为散点图，见图1），他发现散点图大致呈直线状（直线方程为y=33.89+0.51x），而且是递增的，这与常识是符合的，即父亲的身高高，儿子的身高也高，反之亦然。 图1、父亲的身高和儿子的身高散点图 他还做了进一步的计算，计算出父亲的平均身高为=68（英寸）,儿子的平均身高为=69（英寸）等等。他发现当父亲的身高高于平均身高的时候，他们儿子的平均身高往往没有父亲的高，比如高个子的篮球运动员，其儿子的身高未必有他们高；反之，父亲的身高低于平均身高的时候，儿子的身高经常要比父亲的高，这就是“回归效应”。高尔顿的解释是：大自然具有一种约束力，使人类身高的分布在一定时期内相对稳定而不产生两极分化。通过这个例子，Galton引进了“回归”一词。从此“回归”就表示一种相关关系一直沿用下来，有“线性回归”，“非线性回归”等概念。所谓“线性”，是借用直线的概念，是指所考虑的函数关于自变量是一次多项式的意思。“非线性”即函数关于自变量不是一次多项式。 我们现在感兴趣的是回归直线y=33.89+0.51x是怎么来的？截距33.89和斜率0.51是怎么计算的？这些结果就是用“最小二乘法”得到的。下面介绍计算过程。 假设两个（随机）变量和有线性关系，这种关系可以用下列线性回归模型来描述： (1) 其中称为因变量，或者响应变量，它是随机变量。称为解释性变量，或自变量，它的取值是确定的。，是未知参数（就是我们要估计的参数），也称为回归系数。是随机误差，可以假设服从某种分布，一般情况下假设它服从均值为0，方差为（待定）的正态分布，即。 为了估计模型的参数，我们观测到了组数据。虽然两组数据就可以确定出直线的两个参数了，但是得到的结果不稳定，所以用多组数据来进行估计。 于是模型(1)可以写成下列样本形式： (2) 用“最小二乘法”估计参数的基本思想是：求参数，的值，使得总误差最小（如图2）。每一组数据的误差为： 总误差就是这些误差全部加起来，但是误差有正有负（如图2），全部误差加起来有可能正负抵消，所以并不能反映误差水平。 图2、线性拟合误差图。数据用空心圆圈表示，有的误差为正，例如数据点；有的误差为负，例如数据点 如果我们把每一个误差平方以后再相加，那么正负误差就不会相互抵消了，于是我们得到下列式子： . (3) （3）式也反映了总误差的大小，（3）式可以看成参数和的二元函数。估计参数和的问题就转化为：求参数和，使得误差的平方和最小。这个问题在数学上等价于求二元函数的最小值。这种