辩识的最小二乘法.ppt

设时不变SISO动态系统的数学模型为： 设SISO动态系统的数学模型为： 则数学模型可以表示为： 3. 计算C(z-1)，即通过　　　　　　　得到参数估计值 1. 先猜一个C(z-1)的值，即设C(z-1)=1，利用基本的最小二乘法对方程中的A(z-1)和B(z-1)进行估计，得到　　　　　　。 (1) 广义最小二乘法(GLS)的松弛算法 2. 进一步计算e(k)，即 4. 利用C(z-1)可以计算yf(k)和uf(k)，通过等式 计算新的估计值 5. 重复步骤(2)，直到估计的精度达到要求为止。 所谓精度要求，可以看作下列不等式是否满足： 式中　　　为参数向量　的第i个元素在k+1次迭代的 计算结果． 　　广义最小二乘法就是根据上述过程，反复估计噪声参数C(z-1)与系统模型参数A(z-1),B(z-1)的一种迭代算法．广义最小二乘法的收敛速度是比较慢的，需要经过多次迭代计算，才能得到较准确的参数估计值。一般情况下，估计值能够收敛到稳态值。 (2) 递推算法(RGLS) 　假设前一时刻算出的系统模型参数估计为　，噪声模型参数为　 　　　　，相应的算子多项式为　　　，现时刻采集数据为yk+1和uk+1，则一次递推过程的步骤如下： 1. 对新数据进行滤波 并构成滤波后的输入输出数据向量 * 最小二乘法(Least Squares, LS)是一种经典有效的数据处理方法。它是1795年高斯在预测行星和彗星运动的轨道时提出并实际使用的。 在系统辩识和参数估计领域中，最小二乘法是一种最基本的估计方法。它可用于动态系统，也可用于静态系统；可用于线性系统，也可以用于非线性系统；可用于离线估计，也可以用于在线估计。 在随机的环境下利用最小二乘法时，并不要求知道观测数据的概率统计信息，而用这种方法所得到的估计结果，却有相当好的统计性质。 第五章　辩识的最小二乘法 这时的问题是已知系统的输入和输出　　　　　， 求参数ai和bi的估计值。 模型可以改写为： 5.1 最小二乘估计 其中： 将上述模型改写为以下最小二乘格式： 令K=n+1…n+N，共N次观测。记 可见，残差　　包括两个误差因素。一是参数估计误 差带来的拟合误差；二是随机噪声带来的误差。 对于上述模型的辩识问题，其中　　　　都是可以观 测的数据，　是待估计的参数。引入最小二乘准则: 其中　　称为残差或方程误差， 是参数估计值。进一步可以得到： 若　　非奇异，可以得到： 来确定估计值　。求J对　的偏导数并令其等于0，可 得： 可以看出，指数函数　　　　　　即残差的平方和。 最小二乘估计是在残差二乘准则函数极小意义下的最 优估计，即按照准则函数： 称　 为最小二乘估计值，对应方法称为最小二乘法． 其中st表示钢产量，t表示年代。试用最小二乘问题的一次完成算法确定参数 。并以此来预测该企业1950年的钢产量。 若钢产量用如下模型描述： 例: 已知某企业1946年-1949年钢产量如表 16.1 13.5 12.2 10.0 产量 1949 1948 1947 1946 年份 在推导最小二乘法的结果时，并没有考虑噪声e(k)的 统计特性。但在评价最小二乘估计的性质时，则必须 假设噪声e(k)是不相关的，而且是同分布的随机变量 ，也即假设{e(k)}是白噪声序列，即 其中w(k)称为加权因子，对所有的k，w(k)都必须是 正数。引进加权因子是为了考虑观测数据的可信度。 如果有理由认为现时刻的数据比过去时刻的数据可 靠，那么现时刻的加权值就要大于过去时刻的加权 值。比如，可选 当 　，当　　　　　 ，这就体现 了对不同时刻的数据给予了不同程度的信任。一般来 说，w(k)的选择多少取决于人的主观因素，并无规律 可循。 如果准则函数取为加权函数，即为 通过极小化　　　　 计算 的方法称为加权最小二 乘法，对应的　 称为加权最小二乘估计值。加权最 小二乘估计的解为： 其中W是一对称正定阵．若取W=I,则　　　　。所 以，最小二乘法是加权最小二乘法的一种特例。 当获得一批数据之后，利用最小二乘法或者加权最小 二乘法可一次求得相应的参数估计值，这样处理的方 法称为一次完成算法或者批处理算法。这在理论研究 方面有很多方便之处，但在计算方面要碰到矩阵求逆 的困难。但当维数增加时，矩阵求逆的运算量将急剧 增加，会给计算速度和存储带来负担。 可以用高斯消去法进行求解方程式，以便更快地 求得参数的估计值。但是，更实用的方法还是设 法化为递推计算的形式，以便在线辩识，大大减 少数据的存储。 高斯“未知量的最适合值(最可能值)是使各项实际 观测值和计算值之间差的平方乘以度量其精确