第11讲——第5章.pptVIP

系统辨识基础 第11讲 第5章 最小二乘参数辨识方法 5.1 辨识方法分类 5.2 最小二乘的基本概念 5.3 最小二乘问题的提法 5.4 最小二乘问题的解 5.5 最小二乘估计的可辨识性 5.6 最小二乘估计的几何解析 5.1 辨识方法分类 根据不同的辨识原理，参数模型辨识方法可归纳成三类： ① 最小二乘类参数辨识方法，其基本思想是通过极小化如下准则函数来估计模型参数： 其中 代表模型输出与系统输出的偏差。典型的方法有最小二乘法、增广最小二乘法、辅助变量法、广义最小二乘法等。 5.1 辨识方法分类 ② 梯度校正参数辨识方法，其基本思想是沿着准则函数负梯度方向逐步修正模型参数，使准则函数达到最小，如随机逼近法。 ③ 概率密度逼近参数辨识方法，其基本思想是使输出z 的条件概率密度 最大限度地逼近 条件下的概率密度 ，即 。典型的方法是极大似然法。 5.2 最小二乘法的基本概念 两种算法形式 ①批处理算法：利用一批观测数据，一次计算或经反复迭代，以获得模型参数的估计值。 ② 递推算法：在上次模型参数估计值 的基础上，根据当前获得的数据提出修正，进而获得本次模型参数估计值 ，广泛采用的递推算法形式为 其中 表示k 时刻的模型参数估计值，K(k)为算法的增益，h(k-d) 是由观测数据组成的输入数据向量，d 为整数， 表示新息。 5.2 最小二乘法的基本概念 ● 最小二乘原理 定义：设一个随机序列 的均值是参数 的线性函数 其中h(k)是可测的数据向量，那么利用随机序列的一个实现，使准则函数 达到极小的参数估计值 称作 的最小二乘估计。 5.2 最小二乘法的基本概念 ● 最小二乘原理表明，未知参数估计问题，就是求参数估计值，使序列的估计值尽可能地接近实际序列，两者的接近程度用实际序列与序列估计值之差的平方和来度量。 ● 如果系统的输入输出关系可以描述成如下的最小二乘格式 式中z(k)为模型输出变量，h(k)为输入数据向量， 为模型参数向量，n(k)为零均值随机噪声。 5.2 最小二乘法的基本概念 ●为了求模型的参数估计值，可以利用上述最小二乘原理。根据观测到的已知数据序列 和 ，极小化下列准则函数 即可求得模型参数的最小二乘估计值 。 ● 最小二乘估计值应在观测值与估计值之累次误差的平方和达到最小值处，所得到的模型输出能最好地逼近实际系统的输出。 5.3 最小二乘问题的提法 (1) 考虑模型 式中u(k)和z(k) 分别为模型输入和输出变量，n(k)是均值为零、方差为 的随机噪声， 和 为迟延算子多项式，写成 5.3 最小二乘问题的提法 (2) 假定模型阶次 和 为已知，且有 ，也可设 ,并定义 5.3 最小二乘问题的提法 (3) 将模型写成最小二乘格式 对于 (L为数据长度)，可以构成如下线性方程组 式中 5.3 最小二乘问题的提法 (4) 噪声的统计性质 (5) 噪声与输入不相关 (6) 数据长度L充分大 5.4 最小二乘问题的解 ● 考虑模型 ● 准则函数取 其中 为加权因子，对所有的k， 都必须大于零。 ● 准则函数又可写成 5.4 最小二乘问题的解 式中 为加权矩阵，它是正定的对角阵，由加权因子 构成 该准则函数 可用以衡量模型输出与实际系统输出的接近情况．极小化这个准则函数，即可求得模型的参数估计值，使模型的输出能最好地预报系统的输出。 5.4 最小二乘问题的解 设 使得 ，则有 展开，并运用如下两个向量微分公式： 得 上式称作正则方程。 5.4 最小二乘问题的解 当 是正则矩阵时，有 另外 因为 是正定矩阵，所以 也是正定矩阵，即 所以 使 ，并且 是唯一的。 5.4 最小二乘问题的解 当 是正则矩阵时，模型的加权最小二乘解为 ● 通过极小化准则函数 求得模型参数估计值 的方法称作加权最小二乘法，记作WLS(Weighted Le