最小二乘类辨识算法.pptVIP

第95页，共143页，星期日，2025年，2月5日进一步：重温可知(na+nb)?(na+nb)此k指观测数据长度（4.8.8）（4.8.9）（4.8.7）第96页，共143页，星期日，2025年，2月5日这样：因为（4.8.10）（4.8.11）第97页，共143页，星期日，2025年，2月5日引进增益矩阵可得加权最小二乘的另一表述式：上式中除K(k)以外均为迭代计算形式。能否对K(k)，本质上是P(k),也实现迭代计算呢？P(k)已经被定义为逆矩阵：欲实现其迭代计算，需用到矩阵反演公式。（4.8.12）（4.8.13）（4.8.14）第98页，共143页，星期日，2025年，2月5日设A为n?n非奇异阵，C为n?m维矩阵，则有矩阵反演公式：两边同时右乘矩阵（A+CCT）可以证明上式是成立的。将改写为标量ACCTm?mn?n（4.8.16）（4.8.15）第99页，共143页，星期日，2025年，2月5日标量标量(na+nb)?(na+nb)与P(k-1)同维（4.8.17）第100页，共143页，星期日，2025年，2月5日（4.8.19）（4.8.18）（4.8.17）第101页，共143页，星期日，2025年，2月5日*推论1，在定理2的条件下，如果加权矩阵，则模型的参数估计值为相应的参数估计偏差的协方差为此时参数的估计值称为Markov估计，或最小方差估计(4.6.7)(4.6.6)第63页，共143页，星期日，2025年，2月5日*推论2若模型中的是零均值的白噪声向量，且加权矩阵取，则参数估计偏差的协方差阵为其中是噪声的方差，且定义（5.6.8）第64页，共143页，星期日，2025年，2月5日推论1、推论2可以由定理2直接得出，它们是评价最小二乘参数辨识方法的重要依据。如果噪声同时又服从正态分布，则（4.6.6）式给出的参数估计值其偏差的方差达到最小值，称为最小方差估计，也称Markov估计。*第65页，共143页，星期日，2025年，2月5日*3．一致性如果估计值具有一致性，说明它将以概率1收敛于真值。定理3在推论2的条件下，最小二乘参数估计是一致性收敛的，即w.p（withprobability）1W.P.1(4.6.9)第66页，共143页，星期日，2025年，2月5日*证明：根据（4.5.8）式，有式中将依概率1收敛于一个正定阵，且是有界的，因而（4.6.10）（4.6.11）第67页，共143页，星期日，2025年，2月5日*又因所以（4.6.12）第68页，共143页，星期日，2025年，2月5日*需要特别指出：只有当是白噪声时，定理３才能成立。第69页，共143页，星期日，2025年，2月5日第70页，共143页，星期日，2025年，2月5日第71页，共143页，星期日，2025年，2月5日第72页，共143页，星期日，2025年，2月5日第73页，共143页，星期日，2025年，2月5日*4.有效性即估计值偏差的协方差阵将达到最小值。定理4在推论2的条件下，并设噪声服从正态分布，则最小二乘参数估计是有效估计值，即参数估计偏差的协方差达到Cramer-Rao不等式的下界其中，M为Fisher信息矩阵（4.6.21）（4.6.22）第74页，共143页，星期日，2025年，2月5日*证明：因为其中由定理3知（4.6.23）（4.6.24）第75页，共143页，星期日，2025年，2月5日*则，故有那么即（4.6.25）（4.6.26a）（4.6.26b）第76页，共143页，星期日，2025年，2月5日*上式取偏导数，得于是（4.6.27）（4.6.28）第77页，共143页，星期日，2025年，2月5日*推论3在推论1的条件下，并设噪声服从正态分布，则最小误差方差估计是有效估计，即其中，M为Fisher信息矩阵。（4.6.29）第78页，共143页，星期日，2025年，2月5日证明：和证明定理3类似，同类可以