中科院研究生院信息工程学院课件系统辨识第四讲.doc

《系统辨识》第4讲要点 第4章 线性动态模型参数辨识－最小二乘法 4.1 辨识方法分类 根据不同的辨识原理，参数模型辨识方法可归纳成三类： ① 最小二乘类参数辨识方法，其基本思想是通过极小化如下准则函数来估计模型参数： 其中代表模型输出与系统输出的偏差。典型的方法有最小二乘法、增广最小二乘法、辅助变量法、广义最小二乘法等。 ② 梯度校正参数辨识方法，其基本思想是沿着准则函数负梯度方向逐步修正模型参数，使准则函数达到最小，如随机逼近法。 ③ 概率密度逼近参数辨识方法，其基本思想是使输出z 的条件概率密度最大限度地逼近条件下的概率密度，即。典型的方法是极大似然法。 4.2 最小二乘法的基本概念 ● 两种算法形式 ① 批处理算法：利用一批观测数据，一次计算或经反复迭代，以获得模型参数的估计值。 ② 递推算法：在上次模型参数估计值的基础上，根据当前获得的数据提出修正，进而获得本次模型参数估计值，广泛采用的递推算法形式为 其中表示k 时刻的模型参数估计值，K(k)为算法的增益，h(k-d) 是由观测数据组成的输入数据向量，d 为整数，表示新息。 ● 最小二乘原理 定义：设一个随机序列的均值是参数 的线性函数 其中h(k)是可测的数据向量，那么利用随机序列的一个实现，使准则函数 达到极小的参数估计值称作的最小二乘估计。 ● 最小二乘原理表明，未知参数估计问题，就是求参数估计值，使序列的估计值尽可能地接近实际序列，两者的接近程度用实际序列与序列估计值之差的平方和来度量。 ● 如果系统的输入输出关系可以描述成如下的最小二乘格式 式中z(k)为模型输出变量，h(k)为输入数据向量，为模型参数向量，n(k)为零均值随机噪声。为了求此模型的参数估计值，可以利用上述最小二乘原理。根据观测到的已知数据序列和，极小化下列准则函数 即可求得模型参数的最小二乘估计值。 ● 最小二乘估计值应在观测值与估计值之累次误差的平方和达到最小值处，所得到的模型输出能最好地逼近实际系统的输出。 4.3 最小二乘问题的提法 (1) 考虑模型 式中u(k)和z(k) 分别为模型输入和输出变量，n(k)是均值为零、方差为的随机噪声， 和为迟延算子多项式，写成 (2) 假定模型阶次na和nb为已知，且有，也可设,并定义 (3) 将模型写成最小二乘格式 对于 (L为数据长度)，可以构成如下线性方程组 式中 (4) 噪声的统计性质 (5) 噪声与输入不相关 (6) 数据长度L充分大 4.4 最小二乘问题的解 ● 考虑模型 ● 准则函数取 其中为加权因子，对所有的k，都必须大于零。 ● 准则函数又可写成 式中为加权矩阵，它是正定的对角阵，由加权因子构成 ● 该准则函数可用以衡量模型输出与实际系统输出的接近情况．极小化这个准则函数，即可求得模型的参数估计值，使模型的输出能最好地预报系统的输出。 ● 当是正则矩阵时，模型的加权最小二乘解为 ● 通过极小化准则函数 求得模型参数估计值的方法称作加权最小二乘法，记作WLS(Weighted Least Squares algorithm)，对应的称为加权最小二乘估计值。 ● 如果加权矩阵取单位阵，即，则加权最小二乘解退化成普通最小二乘解 这时的 称之为最小二乘估计值，对应的估计方法称作最小二乘法，记作LS(Least Squares algorithm)。最小二乘法是加权最小二乘法的一种特例。 4.5 最小二乘估计的可辨识性 ● 基于参数模型的辨识问题实际上可以归结为模型参数的最优化问题。当给定输入输出数据时，对假定的模型结构是否能唯一地确定模型的参数，这就是可辨识问题。 ● 可控性、可观性和可辨识性之间的关系 ● 可辨识性和输入信号的关系：过程的所有模态都必须被输入信号持续激励。 ● 常用的输入信号：随机序列、伪随机序列、离散序列 ● 最小二乘估计的可辨识条件为矩阵必须是非奇异的。 ● 这一要求与数据集是“提供信息”的或辨识输入信号是“持续激励”的概念密切相关。 ● 定义1 一个平稳数据集关于模型集M是“信息充足”的，如果在这个数据集合中，对任意两个模型和，有 其中，意味着。 ● 定义2 一个平稳数据集是“提供信息”的，如果这个数据集关于由所有线性时不变模型组成的模型集M是“信息充足”的。 ● 定理1 如果的谱矩阵 对所有的是严格正定的，那么这个平稳数据集是“提供信息”的。 ● 定义3 设输入信号u(k)是个平稳的随机信号，如果它的谱密度函数，则称u(k)为“持续激励”信号。 ● 定义4 一个具有谱密度为的平稳信号u(k)称为n 阶“持续激励”信号，若对一切形如的滤波器，关系式，意味着。 ● 定理2 设输入信号u(k)是平稳随机信号，如果相关函数矩阵 是非奇异的，则输入信号u(k)是n 阶“持续激励”信号。 ● 考虑如下模型 式中