线性系统参数估计的最小2乘方法.pptVIP

线性系统参数估计的最小二乘法 * * 简介 基本原理 最小二乘法的应用 递推最小二乘法原理 渐消记忆的递推最小二乘法 限定记忆的递推最小二乘法 最小二乘算法的估计特性 广义最小二乘法 辅助变量法 增广最小二乘法 最小二乘方法是用于参数估计的数学方法，它使得数学模型在误差平方和最小的意义上拟合实验数据。 LS方法是一种涉及较少数学知识而又被大量采用的一种基本方法。最早由高斯提出。当时（1795年），高斯为了解决从观测到的行星轨道数据推算行星轨道的参数而提出的。此后，最小二乘法成了处理观测所得实验数据的有力工具，为工程技术人员广泛采用。 在系统辨识领域中，它是应用最广泛的基本方法，许多方法都是在它的基础上发展起来的。 给定SISO线性、定常，随机系统的数学模型为 已经得到和序列， 对于这样的系统，辨识需要解决两个问题： 首先需要确定系统阶数，这是系统结构辨识的问题 在阶数确定了以后，求参数和，这是参数辨识问题 将系统方程改写成 利用测得的数据，建立个观测方程 令和 则有 或写成 如果定义 ，， 则可得到矩阵形式 因此从观测方程中可以求解出参数 如果，此时相当于从个观测方程中求解个参数，如令，则，而实际上，，因此将进入而使它偏离 如，此时观测方程个数大于参数个数，这是一个解超定方程问题，可取 最小为优化目标，根据极值定理有 ， 从中可以解得 原则：只要能把输出和被辨识参数的关系描述为线性方程，则可以使用最小二乘法。 多输入单输出系统的辨识 进行（）次观测以后，得到多输入多输出观测数据和，，，如何求解？ 根据观测数据，建立观测方程组。令  于是 从而 如何推广到MIMO系统？ 非线性系统的辨识 选取 ， 则可得 这是线性方程，可以使用最小二乘法。 3. 自回归方程的参数估计 4. 线性系统的权序列辨识 写成矩阵形式 从而写成 最小二乘法的缺点 数据增加时，要求计算机的存储空间增加 每增加一组数据，就要作一次求逆，导致计算量增加 目标：寻求一种递推算法，使得 不保留全部数据 避免求逆 假设已经有了组观测方程，有 得最小二乘估计为 得到一组新的观测数据以后，构成新的观测方程 得新解 其中 ,, 令 则 根据矩阵求逆辅助公式 令，，,，则得到 同时得到 整理可得 关于和的选取 任选一批数据，可取和做初值， 任取，而令，其中，为单位矩阵。 普通递推最小二乘算法的缺点是数据饱和，同时不能跟踪参数变化 因此有，可见当时，，，从而失去修正作用。 目标： 得到递推算法为 一般取值。当时候，算法退化为一般递推算法，越小跟踪性能越好，但是参数可能出现不希望的跳跃，而越大，估计所得的参数的变化越平滑。 限定每次估计的只有方程，每得到一个新方程，则去掉一个老方程，数据就像用一个矩形框框住。 无偏性 一致性 有效性 设系统的方程为 其中 令，，则系统写成 其中 引入变白滤波器 ，其中，为白噪声， 即 传统做法是由 得到 ， 如果与不相关，则。 如果与相关，构造与同维的与不相关的矩阵，令 从而 将系统参数，噪声辨识分成三步来辨识，而每一次均是无偏的最小二乘估计，故最后得到是无偏估计。 令： 则有 辨识步骤： 辨识和 根据来辨识和 根据来辨识 其中，， 令 从而 由于是未知的，所以用来代替， 即