31最小二乘法.pptVIP

通过计算确定某些经验公式类型的方法: 参考书目 Gauss, Carl Friedrich, Translated by G. W. Stewart. 1995. Theory of the Combination of Observations Least Subject to Errors: Part One, Part Two, Supplement. Philadelphia: Society for Industrial and Applied Mathematics. Plackett, R. L. 1949. A Historical Note on the Method of Least Squares. Biometrika. 36:458–460. Stephen M. Stiger, Gauss and the Invention of Least Squares. The Annals of Statistics, Vol.9, No.3(May,1981),465-474. Plackett, Robin L. 1972. The Discovery of the Method of Least Squares. Plackett, Robin L. 1972. The Discovery of the Method of Least Squares. Belinda B.Brand, Guass’ Method of Least Squares: A historically-based introduction. August 2003 /~efriedma/periodictable/html/Ga.html /ce6/people/A0820346.html * 国防科学技术大学航天与材料工程学院 2011-11-5 第三章 参数估计 ( 1 ) 内容介绍 参数估计是根据试验测得的样本推断未知参数的数值，包括参数估计准则和估计算法。 准则：最小二乘、最大似然、最小方差、最小风险、最小预报均方误差等。 算法：迭代算法、递推算法。 什么是参数估计？ 内容介绍 §3.1 最小二乘估计准则 §3.2 最小二乘估计迭代算法 §3.3 最小二乘估计递推算法 学习目标 本章的学习目的 1、掌握最小二乘参数辨识方法的基本原理 2、掌握常用的最小二乘辨识方法 3、熟练应用最小二乘参数辨识方法进行模型参数辨识 4、能够编程实现最小二乘参数辨识 §3.1 最小二乘估计准则 一、最小二乘法简介 二、标准最小二乘估计 三、加权最小二乘估计 ★ §3.1 最小二乘估计准则 最小二乘法奠定了系统辨识参数估计理论的基石，美国著名统计学家斯蒂格勒甚至说“最小二乘法于数理统计科学正如微积分之于数学。” 为什么要学习最小二乘法？ 1801年初，天文学家皮亚齐发现了谷神星。 1801年末，天文爱好者奥博斯，在高斯预 言的时间里，再次发现谷神星。 1802年高斯又成功地预测了智神星的轨道。 高斯自己独创了一套行星轨道计算 理论。 高斯仅用1小时就算出了谷神星的 轨道形状，并进行了预测 1794年，高斯提出了最小二乘的思想。 §3.1 最小二乘估计准则 最小二乘法是怎么来的？ 1777.4.30-1853.2.23 一、最小二乘法简介 二、标准最小二乘估计 三、加权最小二乘估计 ★ §3.1 最小二乘估计准则 离散型线性系统观测方程： 其中 为观测矢量， 是待估参数；测量噪声 为零均值白噪声，观测矩阵 。 §3.1 最小二乘估计准则 观测数据: 用最小二乘法确定a, b §3.1 最小二乘估计准则 每次得到 i 个观测量，进行 j 次观测，这里有 m=i×j ，若观测方程有解，则要求m≥n，实际上我们遇到的大量问题都满足这一条件。 §3.1 最小二乘估计准则 §3.1 最小二乘估计准则 准则函数如下： 求使J最小的 ，即得估计值 。 为什么叫“最小二乘”？ 最小二乘的思想就是寻找一个 的估计值 ，使得各次测量的 与由估计 确定的量测估计 之差的平方和最小。 “最小二乘”的 基本思想是什么？ 最小二乘估计是在残差二乘方准则函数极小意义下的最优估计 因准则函数是二次型，因此，求其最小值，可令 ，在 存在的情况下，