华理系统辨识（顾幸生）第4章最小二乘类辨识算法I2015.pdf

第４章 最小二乘类参数辨识方法（一） 1 4.0 引言 4.1 最小二乘法的基本概念 4.2 最小二乘问题的提法 4.3 最小二乘问题的解 4.4 最小二乘估计的可辨识性 4.5 最小二乘估计的几何解析 4.6 最小二乘参数估计值的统计性质 4.7 噪声方差估计 4.8 最小二乘参数估计的递推算法 2 4.0 引言 z m次独立试验的数据 (t ,y ) 1 1 (t ,y ) f (t) 2 2  (tm ,y m ) t f (t) a a h (t) a h (t) a h (t) 0 1 1 2 2 n n Gauss （高斯） 德国著名数学家、物理学家、天文学家、大 地测量学家。是近代数学奠基者之一，并享 有“数学王子”之称。 1801年1月，天文学家Giuseppe Piazzi发现了一颗从未见过的小行星。 据说刚发现不久，他就病倒了，等病好时，已过了几个月，那颗小行 星却怎么也找不到了。当时有名的天文学家都加入了对这颗小行星的 寻找，却徒劳无获。 1801 年9月，高斯决定用数学方法寻找这颗小行星的踪迹。3个月后， 高斯宣称已预测出该小行星的轨道。天文学家在高斯指出的位置，果 然再次发现了它。这颗小行星后来被命名为谷神星（Ceres）。高斯 因为此事名声大震，但他却拒绝透露计算小行星轨道的办法；8年后， （1809年）直到高斯系统地完善了相关的数学理论，才将他的方法公 布于众，这就是“最小二乘法”（Least squares method ）。 1829年，高斯提供了最小二乘法的优化效果强于其他方法的证明，因 此被称为高斯-马尔可夫定理。 1801年，高斯提出的最小二乘的基本原理是 未知量的最可能值是使各项实际观测值和计算 值之间差的平方乘以其精确度的数值以后的和为最 小。 最小二乘类辨识算法的主要内容  最小二乘辨识算法  自适应辨识算法  偏差补偿最小二乘法  增广最小二乘算法  广义最小二乘法  辅助变量法  相关二步法 6 如果  仅仅关心所要辨识的过程输入输出特 性  可以将所过程视为 “黑箱”  而不考虑过程的内部机理 7 过程的 “黑箱”结构  u(k) 和 z(k) 分别是过程的输入和输出  G(z 1) - 描述输入输出关系的模型，称为过程模型