系统辨识根基_最小二乘类方法.pdf

《系统辨识基础》第 12 讲要点 第 5 章 最小二乘参数辨识方法 5.1 辨识方法分类 根据不同的辨识原理，参数模型辨识方法可归纳成三类： ① 最小二乘类参数辨识方法，其基本思想是通过极小化如下准则函数 来估计模型参数： L ˆ 2 J ( ) ε ( k ) ˆ min k 1  其中( k ) 代表模型输出与系统输出的偏差。典型的方法有最小二乘法、 增广最小二乘法、辅助变量法、广义最小二乘法等。 ② 梯度校正参数辨识方法，其基本思想是沿着准则函数负梯度方向逐 步修正模型参数，使准则函数达到最小，如随机逼近法。 ③ 概率密度逼近参数辨识方法，其基本思想是使输出 z 的条件概率 密度 p (z | ) 最大限度地逼近条件  下的概率密度 p ( z |  ) ，即 0 0 ˆ max p (z |)  p (z | ) 。典型的方法是极大似然法。 0 5.2 最小二乘法的基本概念 ● 两种算法形式 ① 批处理算法：利用一批观测数据，一次计算或经反复迭代，以获得 模型参数的估计值。 ˆ ② 递推算法：在上次模型参数估计值 ( k  1) 的基础上，根据当前 ˆ 获得的数据提出修正，进而获得本次模型参数估计值 ( k ) ，广泛采用的 递推算法形式为 ~    k  k 1 K k h k d z (k ) ( ) ( ) ( ) ( ) ˆ 其中 ( k ) 表示 k 时刻的模型参数估计值，K (k)为算法的增益，h (k-d) 是 ~ 由观测数据组成的输入数据向量，d 为整数， z ( k ) 表示新息。 1 ● 最小二乘原理 定义：设一个随机序列{z(k),k (1,2, ,L)} 的均值是参数 的线性函 数 E{z(k)} h (k) 其中 h (k)是可测的数据向量，那么利用随机序列的一个实现，使准则函数 L  2 J ()