系统辨识第四章01.pptVIP

系统辨识 主讲教师：王树斌 联系方式：8393817－316(o) 自动化系 第二章 线性差分方程模型参数的最小二乘估计 最小二乘法是由数学家高斯于1795年首先提出的。当时高斯是利用它来确定行星的轨道参数。目前此法已应用到工程界的许多领域。同样在动态系统的参数估计方面，此法也获得了广泛的应用，而且成为参数估计中最成熟最基本的方法。 本章首先介绍最小二乘法的原理、特性，然后再应用这些基本理论解决非参数模型和参数模型的辨识问题。 §2－1 最小二乘法 最小二乘法是Gauss在1795年提出的。在预测卫星和彗星运动的轨道时，首次运用最小二乘法来处理由望远镜获得的观测数据，以估计天体运动的六个参数。 Gauss在《天体运动理论》一书中写道：未知量的最大概值是这样的数值，它使各实测值与计算值之差的平方乘以度量其精度的数值后，所得的和值达到最小。这就是著名的最小二乘思想。在系统辨识中，这一方法已成功地应用于系统参数估计，目前已发展到相当完善的地步，在自校正控制系统中，LS是应用最广泛的算法之一。 1．最小二乘问题 考虑由结构参数na，nb和d已知的输入输出模型 (qA-1)y(k)=B(q-1)u(k-d)+e(k) q-1——时移算子 或y(k)=-a1y (k-1)-a2y (k-2)-……-anay (k-na)+b0u(k-d) +b1u (k-d-1)+ ……+bnbu (k-d-nb)+e(k) 其中 A(q-1)=1+a1q-1+ a2q-2 +……+anaq-na B(q-1)=b0+b1q-1+ b2q-2 +……+bnbq-nb 上式可表示成 y(k)=xT(k)?+e(k) 描述的受辨系统，式中e(k) 为噪声，x为输入－输出观测向量，θ为已知参数向量，它们分别为 记根据N次观测 对θ的估计为 则第k次观测时，实际观测值y(k)与估计模型计算值ym(k)= xT(k) 之间的偏差为 ε称为残差，它显然是一个随机变量。 记 则向量矩阵方程分别为 残差ε取决于参数拟合误差 和过程噪声e 参数估计的最小二乘算法就是确定使最小二乘目标函数 ? 满足这个条件的的估计称为最小二乘估计,记为 2.最小二乘解 求使 由 令 得 又 所以 J 极小化的充分条件是 若X满秩，XTX与 无关，则上式成立，且有唯一解 。 ? 结论：(最小二乘估计)使目标函数 达到最小的参数估计 应满足下列方程： 如果X满秩，可得唯一解: 说明1. 上述结论对过程噪声{e(k)}未加任何的限定； {e(k)}无论白噪声或其他形式的噪声，只要过程模型具有 那样的最小二乘结构形式，便可由式 求出最小二乘估计。 噪声{e(k)}的性质仅影响最小二乘估计的统计特性。 2. Nna+nb+1是保证 XTX非奇异的必要条件。但更为重要的是为了降低过程噪声的影响，以提高参数估计的精度，这是统计学的一个重要原则。 3. XTX非奇异的条件仅仅是为了方便。XTX奇异时表明存在一族最小二乘估计，这时可引入广义逆（亦称伪逆）。 X的左广义逆为 ,它是唯一存在的。 3．最小二乘估计的误差 LS的估计误差是噪声e的线性函数。 证： 而残差为: