Chapter1最优估计的基本概念.pptVIP

1.6 最小二乘估计 最小方差估计须知道X,Z的全部统计特性。 线性最小方差估计精度低一些，但只需知道X,Z的一阶，二阶矩，降低了对X,Z统计特性的要求。 若对X,Z的统计特性一无可知，仍需对X进行估计，可利用最小二乘法。(Ganes,1809年) 方法： 被估量X:n维向量，进行k次线性观测（最小二乘估计一定是线性估计） Zi=HiX+Ui （i=1，2，···，k） Zi：m维观测向量；Hi：mxn测矩阵； Ui：均值为零的m维观测误差向量 Z：km维向量；H：kmxn维矩阵；V：km维向量Km =n时，方程数目多余未知数的数目，可根据Z来估计X  若估计值 使J( )=L( )=(Z-H )T(Z-H ). 或Jw( )=L( )=(Z-H )TW(Z-H )极小.称之为最小二乘（加权最小二乘）估计.Wkmxkm ：对称正定加权阵 因为J( )，Jw( )是标量函数，据确定性求极小值的问题可采用使J( )/JW( )的 梯度等于0的方法求XLs(Z)或XLsw(Z). 上式全为零 当HTH或HTWH为非奇异矩阵 XLs(Z)=(HTH)-1HTZ ……(3) 或XLsw(Z)=(HTWH)-1HTWZ……(4) 使(1),(2)达到极小的充分条件： 即(HTH)或(HTWH)为正定阵. (3),(4)是观测数据Z求X的最小二乘估计或加权最小二乘估计的表达式. XLs(Z)或XLsw(Z)是观测数据Z的线性函数，是线性估计，是以误差的二次型为性能指标. Zi是标量时，性能指标： J(X)=(Z-H )T(Z-H )= 是估计误差的平方和函数. 所以，上述最优估计XLs(Z)和XLsw(Z)为最小二乘估计或加权最小二乘估计. 说明： 1.该方法是线性观测，不需要知道任何实验知识。但 Z是可有观测数据的全体。需将所有观测数据储存起来统一处理。因此计算量大。 2.XLs(Z)，XLsw(Z)是无偏估计 求X时不要求Vi的平均值为0,但当Vi平均值为0时 3.估计误差的方差阵 R=Var(V)=E(VVT)对称正定阵 以上考虑E(V)=0 4.W=R-1可得加权最小二乘 5.W=R-1时，加权最小二乘的方差阵达到最小。 对观测误差获得一些统计知识，即EV=0，VarV=E(VVT)=R。若W=R-1可使估计误差的方差阵Var（XLsw）|W=R-1达到最小。 若R=STS，S为可逆阵， 则许百茨不等式 BTB=(AB)T(AAT)-1(AB)，其中A=HTS-1，B=SWH(HTWH)-1，AB=HTS-1SWH(HTWH)-1=I 加权W (HTWH)-1HTWRWH(HTWH)-1=BTB=(AB)T (AAT)-1(AB)= (AAT)-1=(HTR-1H)-1 当W=R-1时，上式取等号，此估计为Matlab估计 XLSR -1(Z)=(HTR-1H)-1HTR-1Z 最小二乘类参数辨识方法 包括最小二乘，增广最小二乘，广义最小二乘，辅助变量法，相关二重法。 5.1 引言 将过程看作黑箱，只考虑过程的IO特性，不强调过程的机理 输入U(k)输出Z(k)可观测；G(z-1)称为过程模型 描述过程： 过程除受输入量u(k)作用外，还受不确定因素影响，归结为噪声{u(k)}，{n(k)}平稳s.p.均值为零。谱容度是cosw的有理函数。 n(k)=N(z-1)V(k) V(k)白噪音;N(z-1)噪音模型 最小二乘模型 A(z-1)Z(k)=B(z-1)U(k)+V(k) 增广最小二乘模型 A(z-1)Z(k)=B(z-1)U(k)+D(z-1)V(k) 广义最小二乘模型 A(z-1)Z(k)=B(z-1)U(k)+V(k)/C(Z-1) 不同的辨识方法，可用的过程模型一样，只有噪声模型不同。 解决一个实际问题，采用哪种方法取决于模型类的选择，这需要通过多次试验比较最后才确认。 5.2最