北邮-田宝玉-信息论基础-第十二章概要.ppt

第12章  信息理论方法及其应用 第12章 信息理论方法及其应用 本章主要内容： 1. 信源熵的估计 2. 最大熵原理 3. 最小交叉熵原理 4. 信息理论方法的应用 5. 小结和思考题 本章主要介绍信源熵估计、最大熵原理和 最小交叉熵原理及其部分应用。 §12.1 信源熵的估计 本节主要内容： 1.离散信源序列熵的估计 2.连续信源熵的估计 熵估计 参数估计 给定一个信源概率密度的参数模型，首先从可能的密度函数空间中搜索最可能的密度函数，其次计算最可能密度函数所对应的熵。 熵估计（续） 非参数估计 （1）标准的最大似然或“插入”法，就是先估计信源符号的概率或概率密度，然后再将估计的概率代入熵的计算公式中来计算熵； （2）对于离散信源，可以利用无损信源压缩编码算法进行熵估计，通常使用通用压缩编码； （3）利用其他熵估计算法。 12.1.1 离散信源序列熵的估计