最大熵原理与最小鉴别信息原理.ppt

第七章 最大熵原理与最小鉴别信息原理 非适定问题与最大熵和最小鉴别原理 ⑴非适定问题的概念 先了解正问题，逆问题，过定、欠定 由与欠定原因造成解不存在，不唯一或不连续，称为非适定问题 如：地震勘探确定地层结构 雷达根据接受信号进行功率谱估计 以及声音、图象识别问题 ⑵最大熵原理 概念：把符合约束条件但熵值取最大的概率分布的解，作为唯一不偏不倚的解。 即：在约束条件∑q(ak)fm(ak)=cm ∑ q(ak)=1 使熵 ∑ q(ak)log q(ak) 取最大分布，按拉格朗日 乘数法： q(ak)=exp[-λ0- ∑ λ m fm(ak)] m=1….M ?该试就是满足约束条件下最大熵的q分布. 实际例子： 1）统计力学气体分子速度的分布是能量约束下的最大熵分布； 2）大气层空气密度随高度的分布，是平均势能约束下最大熵分布； 应用范围：统计学、运输、排队、建模、防真、决策、股市 信号处理（谱估计，图象复原） 理解： ⑶最小鉴别信息原理 概念：把满足约束条件下接近于P(x)(先验概率)的概率分布的解，接近于P(x)，说明鉴别信息最小。 即：在约束条件∫q(x)fm(x)dx=Cm 其中∫q(x)dx=1 的q(x)中选择能使鉴别信息取最小的解,作为q(x)的估计