第五章系统辨识.pptVIP

第五章 最小二乘法辨识 教学内容 介绍在系统辨识中用得最广泛的估计方法之一最小二乘法（LS），以及以最小二乘法为基础的辅助变量法、广义最小二乘法、增广矩阵法和多级最小二乘法等估计方法。 教学基本要求 了解掌握最小二乘法等估计方法的概念，并且能够应用最小二乘法进行参数估计。 讨论以单输入－单输出系统的差分方程作为模型的系统辨识问题。 差分方程的辨识问题包括阶的确定和参数估计2个方面。本章只讨论参数估计问题，即假定差分方程的阶是已知的。 5.1 最小二乘法 则式（5.1.7）可写为 5.1.1 最小二乘估计算法 5.1.2 最小二乘估计中的输入信号 当矩阵ΦTΦ的逆阵存在是，式（5.1.18）才有解。一般地，如果u(k)是随机序列或伪随机二位式序列，则矩阵ΦTΦ是非奇异的，即（ΦTΦ）－1存在，式（5.1.18）有解。 现在从ΦTΦ必须正定出发，讨论对u(k)的要求。 下列随机信号都能满足Ru正定的要求。 有色随机信号 伪随机信号 白噪声序列 3)有效性 4）渐近正态性 5.2 一种不需矩阵求逆的最小二乘法 5.3 递推最小二乘法 5.4 辅助变量法 辅助变量的选择方法 1 ）辅助变量参数估价法 2）自适应滤波法 3）纯滞后 4）塔利（Tally）原理 5.5 递推辅助变量法 5.6 广义最小二乘法 * 设单输入－单输出线性定常系统的差分方程表示为 其中 n(k)为均值为0的白噪声 现分别测出n+N个输出输入值y(1),y(2),…,y(n+N),u(1),u(2),…,u(n+N), 则可写出N个方程，写成向量－矩阵形式 设 5.1.7 5.1.8 式中：y为N维输出向量；ξ为N为维噪声向量；θ为（2n+1）维参数向量；Φ为N×（2n+1）测量矩阵。因此，式（5.1.7）是一个含有（2n+1）个未知参数，由N个方程组成的联立方程组。 在给定输出向量y和测量矩阵Φ的条件下求参数θ的估计，这就是系统辨识问题。 θ＝ Φ－1y- Φ-1 ξ 设 表示 θ 的估计值，?表示y的最优估计，则有 （5.1.11） 设e(k)=y(k)- ?(k), e(k)称为残差，则有e=y- ?=y-Φθ 式中 最小二乘估计要求残差的平方和最小，即按照指数函数 求Ｊ对 的偏导数并令其等于0可得 5.1.17 由式（5.1.17）可得θ 的最小二乘估计 J为极小值的充分条件是 即矩阵ΦTΦ为正定矩阵，或者说是非奇异的。 5.1.18 （5.1.18） 当N足够大时有 （5.1. 21） ?如果矩阵ΦTΦ正定，则Ru是是对称矩阵，并且各阶主子式的行列式为正。当N足够大时，矩阵Ru才是是对称的。 ?由此引出矩阵ΦTΦ正定的必要条件是u(k)为持续激励信号。如果序列{u(k)}的n+1阶方阵Ru是正定的，则称{u(k)}的n+1阶持续激励信号。 5.1.3 最小二乘估计的概率性质 1） 无偏性 由于输出值y是随机的，所以 是随机的，但注意θ不是随机值。 如果 （5.1.25） 则称 是θ的无偏估计。 2）一致性 5.1.34 式（5.1.34）表明，当N→∞时， 以概率1趋近于θ。 当ξ(k)为不相关随机序列时，最小二乘估计具有无偏性和一致性。 估计误差 的方差矩阵为 有效性意味着估计值偏差的方阵将达到最小值。 定理 5.1 如果式（5.1.8）中的ξ的均值为0且服从正态分布的白噪声向量，则最小二乘参数估计值 为有效值，参数估计偏差的方差达到Cramer-Rao不等式的下界，即 5.1.47 式中M为Fisher矩阵，且 5.1.48 定理 5.2 如果式（5.1.8）中的ξ是均值为0且服从正态分布的白噪声向量，则最小二乘参数估计值 服从正态分布，即 5.1.57 系统的最小二乘辨识结果为 5.2.6 首先设系统阶次为0，则 和 均为常数， 设 5.2.9 5.2.8 若系统阶次为n是已经求出 系统阶次为n+1时有 式中 则有 设 则 同理，容易求出 同时 这样，就可以按照式（5.2.6）辨识出阶次为n+1时的系统的参数。 为了实现实时控制，必须采用递推算法，这种辨识方法主要用于在线辨识 设已获得的观测数据长度为N，则 5.3.1 估计方差矩阵为 式中 如果再获得1组新的观测值，则又增加1个方程 得新的参数估计值 式中 应用矩阵求逆引理，可得PN＋1和PN的递推关系式。 矩阵求逆引理 设A为n×n矩阵，B和C为n×m矩阵，并且A，A＋BCT和I+CTA-1B都是非奇异矩阵，则有矩阵恒等式 5.3.11 得到递推关系式 由于 是标量，因而上式可写为 5.3.14 最后，得最小二乘法辨识公式 有2种给出初值的办法 （1）设N0（N0n）为N的初始值，可算出 （