应用最小二乘一次完成法和递推最小二乘法算法的系统辨识.docVIP

1最小二乘法的理论基础 1.1最小二乘法 设单输入单输出线性定长系统的差分方程表示为： 其中δ(k)为服从N(0,1)的随机噪声,现分别测出n+N个输出输入值y(1),y(2),…,y(n+N),u(1),u(2),…,u(n+N),则可写出N个方程，写成向量－矩阵形式 (4.1.1) 则式(1.1.1)可写为 （4.1.2） 式中：y为N维输出向量；ξ为N为维噪声向量；θ为（2n+1）维参数向量；Φ为N×（2n+1）测量矩阵。因此，式（4.1.1）是一个含有（2n+1）个未知参数，由N个方程组成的联立方程组。 在给定输出向量y和测量矩阵Φ的条件下求参数θ的估计，这就是系统辨识问题。 设 表示 的估计值，?表示y的最优估计，则有 （4.1.3） 式中： 设e(k)=y(k)- ?(k), e(k)称为残差，则有e=y- ?=y-Φθ 最小二乘估计要求残差的平方和最小，即按照指数函数 （4.1.4） 求Ｊ对 的偏导数并令其等于0可得： （4.1.5） 由式（4.1.5）可得的 最小二乘估计： （4.1.6） J为极小值的充分条件是： 即矩阵ΦTΦ为正定矩阵