第3讲——条件熵、联合熵及熵的性质.ppt

信源及其信息熵 得联合概率： p x0y0 p x0 p y0 |x0 2/3×3/4 1/2 p x0y1 p x0 p y1 |x0 0 p x0y2 p x0 p y2 |x0 2/3×1/4 1/6 p x1y0 p x1 p y0 |x1 0 p x1y1 p x1 p y1 |x1 1/3×1/2 1/6 p x1y2 p x1 p y2 |x1 1/3×1/2 1/6 联合熵H XY H XY ＝H X ＋H Y|X 1.8bit/符号 同理 p x0 |y1 0 ； p x1 |y1 1 p x0 |y2 1/2； p x1 |y2 1/2 对称性 可加性 例:有一个无记忆信源随机变量X∈ 0,1 ,等概率分布,若以单个符号出现为一事件,则此时的信源熵: 例:有一离散平稳无记忆信源 由 p ai,aj p ai p aj| ai 计算得联合概率p ai aj 如表 H X1,X2 表示平均每二个信源符号所携带的信息量, 那么平均每一个信源符号携带的信息量近似为: 对于有记忆信源,就不像无记忆信源那样简单,它必须引入条件熵的概念，而且只能在某些特殊情况下才能得到一些有价值的结论。 对于由两个符号组成的联合信源,有下列结论: 若信源输出一个L长序列,则信源的序列熵为 （1）条件熵H XL|XL-1 随L的增加非递增 当前后符号无依存关系时,有下列推论： 离散有记忆信源的序列熵 平均符号熵为： 极限熵: 离散有记忆信源的序列熵 离散有记忆信源特点 （3）平均符号熵HL X 随L的增加非递增 H0 X ≥H1 X ≥H2 X ≥…≥H∞ X （2）L给定时, H L X ≥H XL|XL-1 （4） * * 第二章 2.1.3 条件熵及联合熵 条件熵是在联合符号集合XY上的条件自信息量的数学期望。 在已知随机变量Y的条件下，随机变量X的条件熵定义为： 要用联合概率加权 条件熵是一个确定值，表示信宿在收到Y后，信源X仍然存在的不确定度。这是传输失真所造成的。有时称H X/Y 为信道疑义度，也称损失熵。称条件熵H Y/X 为噪声熵。 条件熵 联合离散符号集合XY上的每个元素对 的联合自信息量的数学期望。 联合熵 熵、条件熵、联合熵关系 一个二进信源X发出符号集 0,1 ,经过离散无记忆信道传输,信道输出用Y表示.由于信道中存在噪声,接收端除收到0和1的符号外,还有不确定符号“2” 已知X的先验概率: p x0 2/3, p x1 1/3, 符号转移概率： p y0|x0 3/4, p y2|x0 1/4 p y1|x1 1/2, p y2|x1 1/2， X Y 0 1 0 1 2 3/4 1/2 1/2 1/4 信源熵H X 例题 由 例题 条件熵H Y|X 得 p y0 ∑ p xiy0 p x0y0 +p x1y0 1/2+0 1/2 p y1 ∑ p xiy1 p x0y1 +p x1y1 0+1/6 1/6 p y2 ∑ p xiy2 p x0y2 +p x1y2 1/6+1/6 1/3 由 例题 信源输出熵H Y 由 得 条件熵H X|Y 例题 或 H X|Y H XY -H Y 1.8-1047 0.33bit/符号 2.1.4 熵的基本性质 熵的基本性质 概率矢量 非负性 非负性 H X ≥0 由于0≤pk≤1, 所以logpk≤0，-logpk≥0， 则总有H X ≥0。 根据加法交换律可以证明，当变量交换顺序时熵函数的值不变, 即信源的熵只与概率空间的总体结构有关，而与各概率分量对应的状态顺序无关。 对称性 确定性 当信源X的信源空间[X，P]中，任一概率分量等于1，根据完备空间特性，其它概率分量必为0，这时信源为一个确知信源，其熵为0。 确定性 这说明信源空间中增加某些概率很小的符号，虽然当发出这些符号时，提供很大的信息量，但由于其概率接近于0，在信源熵中占极小的比重， ，使信源熵保持不变。 扩展性 扩展性 证明: 可加性 极值性——最大离散熵定理 信源X中包含K个不同离散消息时，信源熵 ，当且仅当X中各个消息出现的概率全相等时，上式取等号。 表明等概信源的不确定性最大，具有最大熵，为 极值性 定理：1. H X/Y ≤H X （条件熵不大于无条件熵） 2. H XY ≤H X +H Y 证明： 基本定理 基本定理推广 H X/Y ≤H X H XY ≤H X +H Y 2.1.5 离散序列信源的熵