2动态过程数学模型参数估计的最小二乘方法.docxVIP

（2011教案） 系统辨识 第二章 （2011教案） 系统辨识 第二章 PAGE # （2011教案） 系统辨识 第二章 （2011教案） 系统辨识 第二章 PAGE # 第一章 参数估计的最小二乘方法 Least Squares § 2—1静态线性模型参数的最小二乘估计（多元线性回归） 一、什么是最小二乘估计 系统辨识三要素：模型，数据，准则。 例：y = ax + ； 其中：y、x可测；；一不可测的干扰项； a —未知参数。通过 N次实验，得到测量数据 yk和 Xk k = 1、2、3…，确定未知参数a称“参数估计”。使准则J为 N J 二 (yk - axQ2 二 min k =1 最小： 令: J : a = 0 ,导出 a = ? N - 2Xk(yk 一 aXkp 0 k =1 Xk Xkyk k=1 N x2 k=1 和为最小的估计，Gauss于1792年提出。 、多元线性回归 线性模型 y 二 a0+ a1x1^ + anx n + ； 引入参数向量：2 = [ a o,ai, a n ]（n+i）-1 进行N次试验，得出N个方程： yk = _ikl + ；k ； k=〔、2 …、N 其中：上k = [ 1,X1,X2，…,x N ] T 式(2 -1- 2)(n+1) 1y = G v + ■:其中：y = [ yi,y2,。。 式(2 -1- 2) (n+1) 1 y = G v + ■: 其中：y = [ yi,y2,。。，y n ] T X11 X12 o o o 式(2 -1- 3 ) (N 1) (N 1) 1 1 I I _1 X1N Xn1 Xn2 ..I XnN - N (n+1) 估计准则有: N (yk 一 k=1 ::「)2 _k —丿 I (y1 穿)1 J 二(%」)...Wn TNA* .. ](yN =(y —J T( y — T (1 N)(N 1) (1 N) J = yTy + pT ：.：」：：」v - yT ：：」J -卫丁 ：：」y =yTy + 二T ：.：「门二-2 二T ：.：」y 式（2 -1- 4） 假设：（；」 T；） （n+1）（n+1） 满秩，由 J 门 0 ae 利用线性代数的以下两个矩阵对向量求偏导数的公式 ： ：：(x ：：(xT Ax) dx 二2Ax （必须A为对称阵） 由::为对称阵 =：?：」y Jc6 c0所以 J c6 c0 （yT y v T ：』「：，丁 T ：」T y） = 2「T ：T - 2「T y 令上式等于零，解出参数估计向量： 2ls = （「T 门）-1 ：：jT y 式（2 -1- 5） 令: P =（门T「）-1 则参数估计向量2 ls = PT y 参数估计向量ls被视为以下“正则方程”的解： （；」十）寸=十T y 式（2 -1- 6） 注：为了便于区别，我们用红体字符表示估计量或计算值，而用黑体 表示为参数真值或实际测量值。 T①日2 xC U GtlJ ( ) (2：‘ T「- 2 T y) = 2 T：； T①日 2 x C U Gtl 所以，Ls使J为最小 三、关于参数最小二乘估计 二Ls性质的讨论 以上求解参数最小二乘估计 二Ls时并为对｛ ；k｝的统计特性做任 何规定，这是最小二乘估计的优点。当｛ k ｝为平稳零均值白噪声时， 则二Ls有如下良好的估计性质： a） 参数最小二乘估计Ls是y的线性估计 Ls = P「T y 是y的线性表出； b） 参数最小二乘估计 二Ls是无偏估计，即E Ls= 2 （参数真值） [证明]:E Ls= E[ P ： T y ]= P ： T E（ y ） = P ：」T E （:巳+ 二）= P ： T ：』v + E（二）=2 + 0 = 2 C）最小二乘估计二Ls的估计误差协方差阵是-2P（n+1）（n+1） 即: E [ （ ，Ls- 2 ） （ =LS- 2 ）T ]=二2p [证明]:E [ （Us -仝）Uls - 2 ）T ] = E [ P J （ y - ：J （ y- ： ））T ：」p ] = e [ P ： T _ _T p ] = p ：」T e （ _ _T） ：‘ p = P二2 Inn P = P-7^ -2P=-2P d）若｛ ；k｝为正态分布零均值白噪声时，则d Ls是线性无偏最小方 差估计（证明从略）。如若｛ ■:k ｝是有色噪声，则Ls不具有上述性质, 即为有偏估计。 四、最小二乘估计 二Ls的几何意义和计算问题 最小二乘估计的几何意义 最小二乘估计的模型输出值为 yk二丄J 71 Ls k = 1,2,…N 输出实际测量值与模型输出值之差叫残差： 飞=yk -yk 模型输出向量为y二门二ls ,而