各种最小二乘算法总结.docxVIP

各种最小二乘算法总结 1. 一般最小二乘法例 1 考虑如下仿真对象 z k 2 1.5 z k 1 0.7 z k u k 1 0.5u k v k 其中， v k 为服从 N 01 分布的白噪声。输入信号 u k 采用 M 序列，幅度为 1。M 序列由 9 级移位寄存器产生， xi xi 4 ⊕ xi 9 。选择如下的辨识模型z k 2 a1 z k 1 a2 z k b1u k 1 b2u k vk 观测数据长度取 L 400 。加权阵取 ∧ I 。1.1. 一次计算最小二乘算法 a1 -1.4916 θ LS a 2 H T H 1 H T Z 0.7005 1.1 L L L L 1.0364 b1 0.4268 b2 Z 3 hT 3 Z 2 Z 1 u 2 u 1 T 其中， Z L Z 4 ， H h 4 Z 3 Z 2 u 3 u 2 ... L ... ... ... ... ... Z 402 hT 402 Z 401 Z 400 u 401 u 400Matlab 程 序见附录 1。1.2. 递推最小二乘算法递推最小二乘算法公式： θ k θ k 1 K k z k h k θ k 1 1 1K k P k 1hk h k P k 1hk 1.2 ∧k Pk I K k h k Pk 1 3 盛晓婷 最小二乘算法总结报告 a1 3 初始条件 θ 0 a 2 3 P0 100 I 。 3 4×4 b1 3 b2 经过编程计算，各个参数的估计值为 a1 -1.4976 a2 0.6802θ LS 1.0284 1.3 b1 0.3341 b2Matlab 程序见附录 2。 待估参数 过渡过程 3 2.5 2 1.5 b1 1 a2 0.5 0 b2 -0.5 -1 a1 -1.5 -2 0 50 100 150 200 250 300 350 400 450 图 1 一般最小二乘参数过渡过程 4 盛晓婷 最小二乘算法总结报告 估计方差变化过程100908070605040302010 0 0 50 100 150 200 250 300 350 400 450 图 2 一般最小二乘方差变化过程 5 盛晓婷 最小二乘算法总结报告 2. 遗忘因子最小二乘算法采用的辨识模型与例 1 相同。2.1. 一次计算法 a1 -1.4990 θ LS a 2 H T H 1 H T Z 0.7060 2.1 L L L L 0.8260 b1 0.4919 b2 β L 1 Z 3 L2 其中， Z L β Z 4 ， ... Z 402 β L 1 hT 3 β L 1 Z 2 β L 1 Z 1 β L 1 u 2 β L 1 u 1 L2 T L2 β h 4 β Z 3 β L 2 Z 2 β L 2 u 3 β L 2 u 2HL ... ... ... ... ... hT 402 Z 401 Z 400 u 401 u 400 衰减因子 β 0.98 ，数据长度 L 402 。Matlab 程序见附录 3。2.2. 递推算法遗忘因子递推最小二乘算法公式： θ k θ k 1 K k z k h k θ k 1K k Pk 1hk h k Pk 1hk 1 2.2 1P k I K k h k Pk 1 6 盛晓婷 最小二乘算法总结报告 a1 0.001 其中， ≤ ≤ 1 为遗忘因子， 0 此处取 0.98。数据长度 L402， 初始条件 θ 0 a 2 0.001 0.001 b1 0.001 b2 P 0 10 I 4×4 。经过编程计算，各个参数的估计值为 a1 -1.4852 θ LS a 2 0.6720 2.3 1.0734 b1 0.4387 b2Matlab 程序见附录 4。 待估参数过渡过程 2 1.5 b1 1 a2 0.5 0 b2 -0.5 -1 a1 -1.5 -2 0 50 100 150 200 250 300 350 400 450 图 3 遗 忘因子法参数过渡过程 7 盛晓婷 最小二乘算法总结报告 估计方差变化过程 109876543210 0 50 100 150 200 250 300 350 400 450 图 4 遗忘因子法方差变化过程 8 盛晓婷 最小二乘算法总结报告 3. 限定 记忆最小二乘递推算法辨识模型与例 1 相同。限定记忆最小二乘算法： θ k 1 k L θ k k L K k 1 k L z k L 1 h k L 1 θ k k LK k 1 k L Pk k Lhk L 11 h k L 1 Pk k Lhk L 11Pk 1 k L I K k 1 k Lh k L 1Pk k L θ k k L θ k k L 1 K k k L z