[工学]第2章-4离散序列的熵.pptVIP

信源与信息熵 第二章 2 2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信息 2.5 冗余度 内容 3 2.3 离散序列信源的熵 4 离散无记忆信源的序列熵 设信源输出的随机序列为 XL =(X1X2…Xl…XL) 序列中单个符号变量Xl∈{x1,x2,… xn} 设一个单符号离散无记忆信源的概率空间为 则信源X的L次扩展信源是具有q=nL个符号的离散信源，其L重概率空间为 5 随机序列的概率为 6 离散无记忆信源的序列熵 当信源无记忆时 信源的序列熵 7 离散无记忆信源的序列熵 若又满足平稳特性,即与序号l无关时： 信源的序列熵 平均每个符号(消息)熵为 8 例:有一个无记忆信源随机变量X∈(0,1),等概率分布,若以单个符号出现为一事件,则此时的信源熵: 即用 1比特就可表示该事件。 如果以两个符号出现(L=2的序列)为一事件，则随机序列X∈(00,01,10,11)，信源的序列熵 即用2比特才能表示该事件。 信源的符号熵 9 例:有一离散平稳无记忆信源 求：二次扩展信源的熵 X2信源 的元素 a1 a2 a3 a4 a5 a6 a7 a8 a9 对应的 消息序列 x1x1 x1x2 x1x3 x2x1 x2x2 x2x3 x3x1 x3 x2 x3 x3 概率p(