信息论基础 普通高等教育“十一五”国家级规划教材 作者 田宝玉 杨洁 贺志强 王晓湘 chapter12.pptVIP

第12章  信息理论方法及其应用 第12章 信息理论方法及其应用 本章主要内容： 1. 信源熵的估计 2. 最大熵原理 3. 最小交叉熵原理 4. 信息理论方法的应用 5. 小结和思考题 本章主要介绍信源熵估计、最大熵原理和 最小交叉熵原理及其部分应用。 §12.1 信源熵的估计 本节主要内容： 1.离散信源序列熵的估计 2.连续信源熵的估计 熵估计 参数估计 给定一个信源概率密度的参数模型，首先从可能的密度函数空间中搜索最可能的密度函数，其次计算最可能密度函数所对应的熵。 熵估计（续） 非参数估计 （1）标准的最大似然或“插入”法，就是先估计信源符号的概率或概率密度，然后再将估计的概率代入熵的计算公式中来计算熵； （2）对于离散信源，可以利用无损信源压缩编码算法进行熵估计，通常使用通用压缩编码； （3）利用其他熵估计算法。 12.1.1 离散信源序列熵的估计 插入熵估计 通用信源压缩编码熵估计 模板匹配熵估计 插入熵估计（一） ——离散无记忆信源熵估计 设一个离散无记忆信源具有未知的概率分布 ， 其中，符号集 ， 为信源的熵，现用给定信源序列 作为训练序列，对信源熵进行插入法估计。 首先利用训练序列估计信源符号的概率，表示为 其中n为训练样本数，通常估计值依赖与样本数。符号的概率采用下式估计： 其中 ， 成为经验分布 插入熵估计（一） ——离散无记忆信源熵估计 可以证明 是 的最大似然估计，且是无偏的，即 将概率的估计值代入信源熵的的公式，得信源熵的估计值： 虽然概率的估计是无偏的，但熵的估计却不是无偏的。根据熵的上凸性有 可见，用插入估计得到的熵值的平均要比实际熵值低，是实际熵的欠估计。所以在进行熵估计时，要做适当的修正，以保证熵的估计具有较小的偏差。 插入熵估计（一） ——离散无记忆信源熵估计 Miller等（1954年）提出，修正后的熵按下式计算 其中， 为估计的信源符号集的大小，n为训练样本数，这里熵的单位是奈特。 还有一种偏差修正法，称为jackknife法，是统计学中对估计器的偏差和方差进行估计的有效方法，这种方法特别用于标准方法难于应用的场合。熵估计的公式为 其中， 表示用样本 进行插入估计所得的熵。 例12.1.1 一个二元离散无记忆信源，符号0和1的概率分别为1/4和3/4，长度为32的训练序列为1 1 1 0 0 0 1 1 1 1 1 1 1 1 1 0 1 0 1 1 1 1 1 0 1 1 1 0 1 1 1 1； （1）求信源熵的最大似然插入估计； （2）利用Miller修正法估计信源熵； （3）利用jackknife修正法估计信源熵。 解: 信源熵 比特 （1）信源符号概率的ML估计为： ， ； 信源熵的最大似然插入估计为 比特； 插入熵估计（一） ——离散无记忆信源熵估计 （2）利用Miller修正估计信源熵为 比特； （3） 比特 比特 利用jackknife修正估计信源熵为 比特 插入熵估计（二） ——一阶马氏链熵估计 插入熵估计（二） ——一阶马氏链熵估计 插入熵估计（二） ——一阶马氏链熵估计 插入熵估计（三） ——N次扩展源（Ngram）的熵估计 （12.1.17） 其中， 为序列中状态 的个数 N次扩展源的熵估计为