清华大学张贤达老师-现代信号处理 课件chapter_3(3.2).pdfVIP

3.2 最大熵谱估计 3.2 最大熵谱估计 ARMA谱估计：差分模型 最大熵方法 (MEM: Maximum Entropy Method)：信息论 信息量：事件X ，事件X x 发生时(概率 P )，带来的信息 k k ⎛ ⎞ 1 I (x ) log −log P ⎜ ⎟ ( ) k k P k ⎝ ⎠ 以e为底：nat (奈特) 以2为底：bit ( 比特) 性质1：I (x ) 0, 若 P 1 (肯定发生的事件发生时， k k 不带来任何信息) I (x ) ≥0 ∵0 ≤P ≤1 , 任何事件发生时， 性质2 (非负性)： k ( k ) 都不会造成信息的丢失 性质3： I (x ) I (x ), 若P P k j k j 熵：平均信息量称为熵，X ： 取值的字符集 X H (X ) P I (x ) − P log P ∑ k k ∑ k k xk ∈Χ xk ∈Χ 连续型随机变量： H (X ) p (x )I (x )dx − p (x ) log p (x )dx E I (x ) ∫ ∫ { } 最大熵1 （MEM1） (功率)谱熵： ω 1 ω ω H [P ( ) ] ∫log P ( )d 2π 已知：R (k ), k 0, ±1, , ±p 共2p+1个样本相关函数，使 max H [P (ω)] 问题：求 P (ω) 约束优化问题： 1 H P ω P ω dω max [ ( ) ] max ∫log ( ) 2π 1 π j ωk ˆ ( )