最小二乘辨识.pptVIP

* 第4章 最小二乘辨识方法 * 利用（39）不难证明 性质5 设 为任意 矩阵，且 为 个 维 变换矩阵之积，则存在一个正交 矩阵 使得 （43） 其中 是 的上三角矩阵 证明 ： 设 (44) * 第4章 最小二乘辨识方法 * 由性质4，针对 中的第一列 找到 变换阵 ，使 （45） * 第4章 最小二乘辨识方法 * 病态法方程的 变换求解 设法方程式（24）中的 和 的元素均已观测得到，根据 变 换矩阵性质5，可求得正交矩阵 ，使 （51） （52） 式中 为已知的 维上三角阵； ， 分别为 维 和 维列向量 * 第4章 最小二乘辨识方法 * 根据最小二乘法的性能准则函数 （53） 因 ，故可将式（53）改写为 （54） 将式（51）和（52）代入上式，并整理后得 （55） 由 可以导出 * 第4章 最小二乘辨识方法 * （56） （57） 由于 是上三角阵，因此，从式（56）可以很快地用反复代入法 解出 式（57）告诉我们，当取 作为参数估计值时的性 能指标值，即方程误差的平方和为 。 * 第4章 最小二乘辨识方法 * 在上述一般的最小二乘法中，我们把各次观测同等看待，即认为各次观测的方程误差 ，在参数估计中的地位相同。因而在性能指标函数中，直接将各次观测的方程误差平方相加，即 4.2 加权最小二乘法 * 第4章 最小二乘辨识方法 * 事实上，各观测往往是在不同的条件下进行的（例如，观测的时刻不同，环境不同，所采用的仪器精度不同等）。因此，各次观测所得的数据，对所估计的参数来说，有的“价值”大，有的“价值”小。在利用这些数据估计参数时，总希望那些“价值”大的观测数据能对估计结果产生较多的影响，也就是应该给与较大的“信任程度”，占有较大的比重。体现这一要求的具体做法是对每次观测的方程误差采用加权处理，对那些“价值”大的观测数据下的方程误差赋以较大的权，反之，赋以较小的权。这就是加权最小二乘法的基本考虑。 如果事先能估计各次观测的方程误差 对参数估计的影响，可以将式（15）的性能指标函数改写为 * 第4章 最小二乘辨识方法 * （58） 式中 为加权阵，它是一个对称的正定阵。通常为对角阵，即 （59） 因此 （60） 使 取极小值的估计值 ，称为加权最小二乘估计，用 表 示由必要条件 （61） * 第4章 最小二乘辨识方法 * 可以导出相应的法方程 （62） 如果 存在，则 （63） 如果令 为 维单位阵，则式（63）转化为式（25） 就成了一般的最小二乘估计 的算法了。可见，一般的最小二乘法 是加权最小二乘的一种特例。 一种常用的指数加权函数是 （64） * 第4章 最小二乘辨识方法 * 式中 ， 是小于1的正数。这种选择权函数的基本想法是使目前的观测数据的权大于过去观测的数据的权。它相当于对老数据加上了一个遗忘因子（衰减因子），以降低老数据提供的信息量，增加新数据提供的信息量。所以这种加权最小二乘算法又成为渐消记忆（衰减记忆） 的最小二乘算法。 * 第4章 最小二乘辨识方法 第4章 最小二乘辨识方法 * 第4章 最小二乘辨识方法 * 第4章 最小二乘辨识方法  Least Square Identification （ 教材书上第9章 参考书1的第5、6章 ）  * 第4章 最小二乘辨识方法 * 4.1 基本最小二乘法 4.2 加权最小二乘法 4.3 递推最小二乘法 4.4 最小二乘法参数估计值的统计特性 4.5 辅助变量最小二乘法 4.6 广义最小二乘法 4.7 增广矩阵法 4.8 相关函数-最小二乘相结合的法 4.9 限定记忆的最小二乘相法 本章内容 * 第4章 最小二乘辨识方法 * 4.1 基本最小二乘法 起源： 最小二乘法是一种古老的数据处理方法。最早的应用可以追溯 到18世纪。1795年，这种方法的创建人高斯(K．F．Gauss)