最小二乘法线性详细说明.ppt

最小二乘法线性详细说明; 在处理数据时，常要把实验获得的一系列数据点描成曲线表反映物理量间的关系。为了使曲线能代替数据点的分布规律，则要求所描曲线是平滑的，既要尽可能使各数据点对称且均匀分布在曲线两侧。由于目测有误差，所以，同一组数据点不同的实验者可能描成几条不同的曲线(或直线)，而且似乎都满足上述平滑的条件。那么，究竟哪一条是最曲线呢？这一问题就是“曲线拟合”问题。一般来说，“曲线拟合”的任务有两个：;一 是物理量y与x间的函数关系已经确定，只有其中的常数未定（及具体形式未定）时，根据数据点拟合出各常数的最佳值。 二 是在物理量y与x间函数关系未知时，从函数点拟合出y与x函数关系的经验公式以及求出各个常数的最佳值。;解决问题的办法;最小二乘法产生的历史;父亲的身高与儿子的身高之间关系的研究;从图上虽可看出，个子高的父亲确有生出个子高的儿子的倾向，同样地，个子低的父亲确有生出个子低的儿子的倾向。得到的具体规律如下： 如此以来，高的伸进了天，低的缩入了地。他百思不得其解，同时又发现某人种的平均身高是相当稳定的。最后得到结论：儿子们的身高回复于全体男子的平均身高，即“回归”——见1889年F.Gallton的论文《普用回归定律》。 后人将此种方法普遍用于寻找变量之间的规律 ;最小二乘法的地位与作用;最小二乘法的思路;第一节 一元线性拟合;1.已知函数为线性关系，其形式为： y=a+bx （1） 式中a, b为要用实验数据确定的常数。此类方程叫线性回归方程，方程中的待定常数a, b叫线性回归系数。 由实验测得的数据是 x= x1, x2,………. xn 时， 对应的y值是y= y1,y2,…….yn;由于实验数据总是存在着误差，所以，把各组数据代入(1)式中，两边并不相等。相应的作图时，数据点也并不能准确地落在公式对应的直线上，如图所示。由图一还可以看出第i个数据点与直线的偏差为： (1) 如果测量时，使x较之y的偏差很小，以致可以忽略（即Δxi很小 ）时，我们可以认为x的测量是准确的，而数据的偏差，主要是y的偏差，因而有： ② ;我们的目的是根据数据点确定回归常数a和b，并且希望确定的a和b能使数据点尽量靠近直线能使v尽量的小。由于偏差v大小不一，有正有负，所以实际上只能希望总的偏差（ ）最小。 所谓最小二乘法就是这样一个法则，按照这个法则，最好地拟合于各数据点的最佳曲线应使各数据点与曲线偏差的平方和为最小。;首先，求偏差平方和，将②式两边平方后相加，得： ③ 显然， 是a, b的函数。按最小二乘法，当a, b选择适当，能使为最小时y=a+bx才是最佳曲线。 ;根据二元函数求极值法，把③式对a和b分别求出偏导数。得： ;令④等于零，得： 解方程，得： ⑥ ⑦ ;公式⑥⑦式中： 从④不难求出对a, b的二阶偏导数为： ; 所以⑥⑦式求出的a, b可使为极小值。因而由a, b所确定的曲线y=a+bx就是用最小二乘法拟合的最佳曲线。 由于已知函数形式为非线性时，可用变量代换法“曲线改直”使函数变为线性关系，因而最小二乘法就有更普遍的意义。;2. 经验公式的线性回归—函数形式未知 ;3. 回归方程的精度和相关系数 ;剩余标准差 公式中： ;R称为相关系数。其值可正可负，一般有： a:当R=±1时， = ,即各数据点与最佳直线完全重合。 b：0R1时，各数据点与最佳直线不完全重合。有两种情况： 一种可能是各数据点与该线偏差较小，一种可能是各数据点与该线偏差较大。 当 时， 减小，一般的数据点越靠近最佳值两旁。两变量间的关系线性相关，可以认为是线性关系，最佳直线所反应的函数关系也越接近两变量间的客观关系。同时还说明了测量的精密度高。