各类最小二乘法比较.docxVIP

最小二乘法（LS） 最小二乘是一种最基本的辨识方法，最小二乘法可以用于线性系统，也可以 用于非线性系统；可用于离线估计和在线估计。在随机情况下，利用最小二乘 法时，并不要求观测数据提供其概率统计方法的信息，而其估计结果，却有相 当好的统计特性。但它具有两方面的缺陷：一是当模型噪声是有色噪声时，最 小二乘估计不是无偏、一致估计；二是随着数据的增长，将出现所谓的“数据 饱和”现象。针对这两个问题，出现了相应的辨识算法，如遗忘因子法、限定 记忆法、偏差补偿法、增广最小二乘、广义最小二乘、辅助变量法、二步法及 多级最小二乘法等。 广义最小二乘法（GLS） 广义最小二乘法的基本思想在于引入一个所谓成形滤波器（白化滤波器），把 相关噪声 ?(k )  转化成白噪声 ?(k)  。 优：能够克服当存在有色噪声干扰时，基本最小二乘估计的有偏性，估计 效果较好，在实际中得到较好的应用。 缺：1、计算量大，每个循环要调用两次最小二乘法及一次数据滤波， 求差分方程的参数估值，是一个非线性最优化问题，不一定总能保证算 法对最优解的收敛性。广义最小二乘法本质上是一种逐次逼近法。对于循环程 序的收敛性还没有给出证明。 GLS 算法的最小二乘指标函数 J 中可能存在一个以上局部极小值，（特 别在信噪比不大时，J 可能是多举的）。GLS 方法的估计结果往往取决于所选用 参数的初始估值。参数估计初值应选得尽量