系统辨识课件-3-2011.ppt

第3章 最小二乘法辨识 近代辨识：最小二乘法、极大似然法 辨识对象：以单输入单输出系统差分方程为模型 辨识内容：系统模型参数和系统模型阶次n 学习内容：各种参数估计算法的推导、特点、 流程、优缺点及适用范围 3.1 基本的最小二乘估计 解决问题：在模型阶次n已知的情况下，根据系统的输入输出数 据，估计出系统差分方程的各项系数。 将x(k)代入上式，可得输入输出数据方程为： 上式写成向量形式为： * * 式中，x(k)为理论输出值，y(k)为实际观测值，v(k)为观测噪声。则有： 1.基于输入/输出数据的系统模型描述 SISO系统的差分方程为 则当前输出为： 设观测数据有(n+N)个，令k分别等于n+1,···,n+N,则有： 记为： 输出向量 测量矩阵 参数矩阵 噪声矩阵 数据长度 N (注：实际数据个数为n+N) 若N=(2n+1)且ξ=0，则上式中的φ阵为(2n+1)×(2n+1)的方阵。由此，可解得θ的唯一解为： 而在实际工程中，ξ肯定不等于0，且N(2n+1)，即方程个数远大于未知数，故而上述θ的解不成立。 当前任务： 在存在噪声ξ和数据长度N(2n+1)的情况下， 如何进行参数θ的估计。 (3.1) 即 2.基本的最小二乘法(LS) 辨识准则：残差平方和最小。 为模型的计算值，即 (1)残差e (2)指标函数J 故而，最小二乘法辨识就是使J最小的参数估计方法。 即有： 下面我们推导θ估计值的计算方法。 J取得最小值，也即J为极值，则有： 其中, 为(2n+1)×(2n+1)的方阵。 若其逆阵存在，则： (3.2) 上式即为最小二乘法的参数估计结果。 讨论：理论上，偏导为0只能说明J取得极值。可能为极大 值，也可能为极小值。 也即φTφ为正定阵。而φ阵为测量矩阵，它由输入/输出数据组成，故而“φTφ为正定阵”必与输入信号u(k)密切相关。因此，需要讨论LS方法对输入信号的要求。 使J为极小值的条件为： 3. 最小二乘法对输入信号的要求 主要讨论 对输入信号u(k)的要求。 其中， 则当N→∞时，有： 于是有： J取得极小值→φTφ正定→R正定→Ru正定。 因此： J取得极小值的必要条件为Ru为正定阵。 这就是最小二乘法对输入信号的要求。 定义： 如果序列{u(k)}的(n+1)阶方阵Ru是正定的，则称序列 {u(k)}为(n+1)阶持续激励信号。 因此，最小二乘法对输入信号的要求为： {u(k)}为(n+1)阶持续激励信号 哪些输入信号{u(k)}的Ru是强对角线占优矩阵？以下输入信号均能满足Ru正定的要求： 白噪声序列； 伪随机二位式噪声序列； 有色噪声随机信号序列。 工程上常用“伪随机二位式噪声序列”、“有色噪声随机信号序列”作为输入信号。 考查 若Ru为强对角线占优矩阵，则Ru正定。 4. 最小二乘估计的概率性质 最小二乘估计的概率性质主要有以下四方面： 估计的无偏性； 估计的一致性； 估计的有效性； 估计的渐进正态性。 我们主要讨论前两项：无偏性和一致性。 估计的无偏性 无偏性估计的定义： 若 ，则称 是参数θ的无偏估计。 下面讨论无偏估计的条件。 (3.3) LS无偏估计的充要条件为： 下面讨论无偏估计的充分条件。 考查充要条件 由上式可知： y(k)只与ξ(k),ξ(k-1),ξ(k-2)···相关，而与ξ(k+1),ξ(k+2),ξ(k+3) ···不相关。 若{ξ(k)}为零均值不相关随机序列，且与{u(k)}无关。 则由上式可知，ΦT与ξ不相关。 则有： 可见，在上述条件下我们得到了参数θ的无偏估计。 {ξ(k)}为零均值不相关随机序列，且与{u(k)}无关。 LS无偏估计的充分条件为： (2)一致性估计 一致性估计的定义： 若 ，则称 是参数θ的一致性估计。 若参数估计值以概率1收敛于真值θ，则称估计值具有一致性。或采用下述定义： 式中， 为估计误差 的方差。 下面讨论一致性估计的充分条件。 估计误差的方差为： 一致性估计的充分条件为： 同样，假设{ξ(k)}为零均值不相关随机序列，且与{u(k)}无关。则ΦT与ξ不相关,且有： {ξ(k)}为零均值不相关随机序列，且与{u(k)}无关。 (3) 估计值的有效性 有效性的定义：若参数估计误差的方差达到最小值，则称该估计值是有效估计值。 LS有效估计值的充分条件：{ξ(k)}是零均值且服从正态分布的白噪声序列。 (4) 估计值的渐近正态性 渐近正态性的定义：若参数估计值服从正态分布，则称该估计值是渐近正态的。 LS渐近正态性的充分条件：{ξ(k)}是零均值且服从正态分布的白噪声序列。