系统辨识与建模幻灯片.pptVIP

非独立观测 设z(k)～N(mk,σk)，并取mk为z(k)的条件均值： (k)= E[z(k)| Zk-1]，即： p(z(k)|Zk-1,θ)= ，负对数为： -L(ZL|θ)= +(L/2)ln2π。 当σk≡σ已知时，就是：J(θ)= 当σk≡σ未知时，可先由min(J(θ))求 及Jmin，再由min(- L(ZL|θ))求 。 例 考虑模型：z= + ，其中w～N(0,σ2I),则 ～N( ,σ2I)， p( |θ)= ， J=lnL(θ)= 例 i=1,2,...,n 例 直接求解以上非线性方程组是困难的，如果已有参数的某个估计，并用其构成如下预滤波器： ， ， ， 则上面前两个方程组可写成： ， ，这等价于辅助变量法。 对于噪声模型，我们已有： 定义： ，则w=Cv/D=Cv-(D-1)w，再次构造预滤波器：v*=v/D，w*=w/D,则 ， 这也等价于辅助变量法。 预报误差估计法 对于模型结构已知的系统，如果我们获得参数的某个估计，则可对输出进行预报，那么用预报误差的大小来衡量参数估计的优劣也是合理的。定义输出估计误差： e(k)=y(k)- (k)， 将收敛于e(k)的协方差阵。通常采用的预报误差准则有： J1(θ)=Tr(ΛD(θ)), J2(θ)=log det(D(θ))。可以证明，当e(k)～N(0,Σe)时，若J1(θ)中的Λ取为Λ=LΣe-1，则预报误差估计等价于极大似然估计； 例 考虑模型：z= + 。利用已经获得的参数估计和噪声w的到k-1时刻为止的估计，我们有输出估计 ,并且可得噪声估计 = 由此可见，以 为输出估计误差时，预报误差法与极大似然法的准则函数是等价的。 Bayse估计 参数是与观测值关联的随机变量。在给定的观测数据下，使得验后的条件概率密度p(θ|ZL)最大的参数最有可能是真实参数。根据全概率公式： p(θ|ZL)= p(z(L)|ZL-1,θ)p(θ|ZL-1)/p(z(L)|ZL-1) = p(θ|Z0) 其中p(θ|ZL-1)为参数的验前概率密度函数，p(z(L)|ZL-1, θ)为数据的条件概率密度函数，p(z(L)|ZL-1)是与参数无关的项。根据验后条件概率密度p(θ|ZL)，有两种方法可求得参数估计，一是极大验后参数估计法，另一是条件期望参数估计法，它们统称为Bayes方法。 1 极大验后参数估计法 参数的极大验后估计必定满足： =0= + 若令上式右边第一项为零，所得的参数估计即为极大似然估计。可见，极大验后参数估计比极大似然估计多考虑了参数的验前概率知识，因而一般情况下极大验后参数估计优于极大似然估计。但是参数的验前概率密度不易获得，因此，极大似然估计比极大验后参数估计用得更普遍。 2 条件期望参数估计法 直接以参数的条件期望作为参数估计值是合乎逻辑的。 (L)=E{θ|ZL}。可以证明，条件期望参数估计等价于极小化参数估计误差的方差： minE{[θ- (L)]T[θ- (L)]|ZL} 因此也称为最小方差估计。 例 考虑线性回归模型：y(k)=φT(k)θ+e(k)，其中e(k)是零均值随机噪声，e(k)～N(0, )。设参数θ在数据Z0条件下的验前概率密度为： p(θ|Z0)= , 其中N=dimθ。那么在数据ZL-1条件下概率密度为： p(θ|ZL-1)= 由噪声e(k)～N(0, )可知， p(z(L)|ZL-1,θ)= ，于是有： log p(θ|ZL) =const- - =const- 若令 则log p(θ|ZL)= const