系统辨识与建模2.ppt

系统辨识与建模 主讲：黄东 第三讲 参数估计的批量法 最小二乘算法 参数估计的一般性质 最小二乘、加权最小二乘估计性质 噪声方差估计 广义最小二乘 偏倚校正算法 辅助变量法 多步最小二乘 相关最小二乘 最小二乘算法 考虑差分方程：A( )y(k)=B( )u(k)+ w(k)，其中w(k)为白噪声。假定模型的结构已知（n,m,τ），将其写成线性回归模型： y(k)=-a1y(k-1)-…-any(k-n)+b1u(k-τ)+ …+bmu(k-m-τ+1)+ w(k) θ=[a1, …, an,b1 …, bm]T φ(k)=[-y(k-1),…,-y(k-n),u(k-τ),…,u(k-m-τ+1)]T y(k)=φT(k)θ+w(k) （以下令τ=1） y(k)=-a1y(k-1)-…-any(k-n)+b1u(k-1)+…+bmu(k-m)+ w(k) y(k+1)=-a1y(k)-…-any(k-n+1)+b1u(k)+…+bmu(k-m+1)+w(k+1) y(k+2)=-a1y(k+1)-…-any(k-n+2)+b1u(k+1)+…+bmu(k-m+2)+w(k+2) ………… φT(k)=[- y(k-1)…-y(k-n) u(k-1)…u(k-m)] φT(k+1)=[- y(k)…-y(k-n+1) u(k)…u(k-m+1)] φT(k+2)=[- y(k+1)…-y(k-n+2) u(k+1)…u(k-m+2)] ………… φT(k+N)=[- y(k+N-1)…-y(k-n+N) u(k+N-1)…u(k-m+N)] 最小二乘算法 若我们的观测数据可写出N个这样的等式， YN=Φθ+WN ， ΦT=[φ(k)，……，φ(N+k-1)] ΦT YN=ΦTΦθ+ΦT WN θ=(ΦTΦ)-1ΦT YN - (ΦTΦ)-1ΦT WN θLS=(ΦTΦ)-1ΦTYN 条件1：E(ΦT WN)=0 （当w(k)为白色时,条件1满足） 条件2: ΦTΦ可逆 当w(k)为白色时,条件1满足 ΦT WN= - y(k-1) -y(k) -y(k+1) …-y(k+N-2) w(k) - y(k-2) -y(k-1) -y(k) … -y(k+N-1) w(k+1) …………………… . - y(k-n) -y(k-n+1) -y(k-n+2)…-y(k-n+N-1) . u(k-1) u(k) u(k+1) … u(k+N-2) . …………………… . u(k-m) u(k-m+1) u(k-m+2) … u(k-m+N-1) w(k+N-1) y(k)与w(k)、w(k-1)、w(k-2)、…相关。当w(k+1)与w(k)、w(k-1)、w(k-2)、…不相关时， y(k)与w(k+1)也不相关。 最小二乘算法 以上结果等同于求使： J=Σ(y(k)-φT(k)θ)2 最小的θ，因此称为最小二乘算法。 =0 ΦT YN=ΦTΦθ----正则方程 ΦTΦ----------------正则矩阵(对称、正定、可逆) 加权最小二乘 若对各次观测数据加不同的权，即求使Jα=Σαk(y(k)-φT(k)θ)2最小的θ,则得到参数的加权最小二乘估计： θLSα=(ΦTΑΦ)-1ΦTΑYN Α的对角元由αk构成 参数估计的一般性质 1．无偏性 如果E( )=0,( = - ) 或E( )= ，则称估计为无偏的。 2．有效性 如果无偏估计 满足Cov( )=M-1，则称估计为有效的。其中： 称为Fisher信息矩阵，其逆M-1称为Crammer-Rao 下界。 在一般情况下，有Crammer-Rao不等式： Cov( )=E{( - )( - )T}≥M-1 有效性例 对于z=Hθ+w，若噪声w为零均值、协方差阵Σw=E(WWT)的正态分布噪声，即：W～N(0,Σw)，则输出