第03讲最小二乘法-Read.pptVIP

系统辨识篇目录(1/1) 系统辨识篇 第01讲 系统辨识概论 第02讲 理论知识准备 第03讲 最小二乘法 第04讲 递推最小二乘法 第05讲 处理有色噪声扰动的最小二乘类方法 第06讲 随机逼近法 第07讲 多输入多输出系统辨识 第08讲 辨识算法比较 第09讲 系统辨识研究的发展与问题 第三讲 LS法(1/4) 第三讲 最小二乘法 第三讲 LS法(2/4) LS法在数学各种分支以及其它应用科学中有广泛应用,如: 数学 计算数学中的曲线拟合和函数逼近 概率统计中的回归分析与参数估计 非相容(矛盾)方程解理论中的LS解 系统与控制科学 实验建模(系统辨识) 测量理论中的误差分析 …… 第三讲 LS法(3/4) 系统与控制科学中的随机离散系统辨识的参数估计方法是从数学中的概率统计理论发展而来的. 只不过,系统辨识更关注的是动态系统模型的参数估计问题. LS法是概率统计中参数估计的主要方法,也为系统与控制科学中系统辨识的主要参数估计方法. 由于LS法原理简单,易于理解,与实际要求吻合,求解与应用也并不困难,所以它颇受人们的重视,应用相当广泛. 第三讲 LS法(4/4) 本讲主要讲授: 回归模型表述 LS法的基本原理和算法, LS估计的数值计算, LS法的应用例子,及其 LS估计值的统计特性分析. 1 回归模型表述(1/1) 1 回归模型表述 在讨论LS算法之前,下面先讨论在统计回归与系统辨识中的回归模型. 静态模型(回归模型) 动态模型(自回归模型) 1 回归模型表述—静态模型(1/3) A. 静态模型 在数理统计中参数估计所讨论的模型可用如下回归式表示 y(k)=??(k-1)?+w(k) (1) 其中y(k)为过程输出, ?(k)为n维观测数据向量, ?为n维回归参数向量, w(k)为统计噪声或误差. 对回归模型(1),其参数估计问题是: 基于已知的观测数据向量?(k)在回归误差平方最小的意义下求解回归参数向量?. 1 回归模型表述—静态模型(2/3) 在数理统计中,回归式(1)表示的是静态系统,即过程输出y(k)与过去的观测数据向量?(i-1)和统计噪声w(i)无直接时间上的逻辑(因果)关系,ik. 对静态回归系统(1)的统计回归问题,一般有如下假定: (1) 观测数据向量?(k)中各分量可直接测量或根据测量推算得之; (2) 噪声w(k)为零均值噪声,且与观测数据向量?(k-1)完全统计独立. 下面先回顾一个数理统计中常见的回归问题. 1 回归模型表述—静态模型(3/3)—例1 例1 某化工反应过程其反应产生的某成分的单位产生速率y与n个参加反应的化学物质的浓度xi有关. 若该关系可用线性关系建模,则可得如下回归关系描述 y=a1x1+a2x2+…+anxn=??? 其中ai为回归系数,描述回归因素xi与回归量y的相关系数; ?=[x1 x2 … xn]? ?=[a1 a2 … an]? 1 回归模型表述—动态模型(1/7) B. 动态模型 本世纪中期,LS法引入到系统和控制科学中动态系统建模的系统辨识和参数估计中. 对实际的被控对象，在其工作点附近，其动力学模型可用线性动态模型描述。 1 回归模型表述—动态模型(2/7) 如下图所示的直流电机，其电气主回路的电阻与电感、机械转动系统在一定工作范围内都可用线性动静态模型描述。 1 回归模型表述—动态模型(3/7) 因此，在动态系统辨识中,所讨论的系统中较典型的如下述定常单输入单输出(SISO)线性系统的数学模型(亦称为受控XAR模型) A(z-1)y(k)=B(z-1)u(k)+w(k) (2) 其中y(k),u(k)和w(k)分别为系统输出,输入和随机扰动; 1 回归模型表述—动态模型(4/7) 上述的定常SISO线性系统的数学模型也可表示成如下的自回归方程式 y(k)=??(k-1)?+w(k) (3) 式中 1 回归模型表述—动态模型(5/7) 对动态系统(2)的辨识问题,先明确如下一些基本假设和基本关系. (1) 假定模型(2)的阶次或阶次的上界na和nb已知; (2) 系统输入输出数据u(k)和y(k)可直接测量或可根据其它直接测量量推算得之; (3) 噪声w(k)为零均值噪声,且与系统输入u(k-1)统计独立. 1 回归模型表述—动态模型(6/7) 由前面所定义的回归方程(1)和自回归方程(3)可知, 静态系统辨识和动态系统辨识的共同之处为其辨识模型都可归纳为一统一的回归方程. 两者不同之处在于,自回归方程的观测数据向量?(k-1)中包含有以往时刻