第二章-信息论基本概念.ppt

（2）该信源在l时刻所处的状态由当前的输出符号与前一时刻(l-1) 信源的状态唯一决定 状态的一步转移概率： 此信源满足马尔可夫信源的两个条件， 是马尔可夫信源，并且是齐次马尔可夫信源。 例： 设两位二进制码所代表的四个状态分别为 00，01，10，11，其符号转移概率和状态转移概率由下列两表给出： 试求稳定条件下各状态的概率 解：据题意，可画出相应的香农线图 设稳定状态下，各个状态的概率为 P(S0)＝P0， P(S1)＝P1， P(S2)＝P2， P(S3)＝P3 根据图示，可得 P0＝ 1/2P0 ＋ 1/4P2 P1＝ 1/2P0 ＋ 3/4P2 P2＝ 1/3P1 ＋ 1/5P3 P3＝ 4/5P3 ＋ 2/3P1 P0 ＋ P1 ＋ P2 ＋ P3 ＝1 由上面五个方程，可得： P0＝3/35 ， P1＝6/35, P2＝6/35， P3＝4/7 例：有一个一阶马尔可夫信源，已知  试画出该信源的香农线图，并求出信源熵。 解：该信源的香农线图为： 在计算信源熵之前，先用转移概率求稳定状态下二个状态x1和 x2 的概率 和 bit/符号 [小结] 两种有记记忆信源比较 类型 m阶马氏过程 m长有记忆信源 依赖关系 (相当于) 记忆长度为m 符号间关系可延伸到无穷 （卷积码） m个符号为一组 组内相关，组间无关 （分组码） 描述 状态转移(条件)概率 联合概率 每符号 平均熵 极限熵Hm+1 Hm(X)=(1/m)H(X1X2…Xm) 总结:各种离散信源的熵 (1) 发出单个符号消息的离散无记忆信源熵 若信源发出N个不同符号X1，X2，…，Xi，…，XN , 代表N种不同的消息，各个符号的概率分别为 P1， P2，…， Pi，…，PN 因为这些符号相互独立，所以该信源熵为： H（X）＝－ PilogPi [ bit/符号 ] (2)发出符号序列消息的离散无记忆信源熵 发出K重符号序列消息的离散无记忆信源熵为共熵H(XK)，它与单个符号消息信源熵H(X)有如下关系： H(XK)＝KH(X)＝K[－ PilogPi] [ bit/符号序列 ] (3)发出符号序列消息的离散有记忆信源熵 发出K重符号序列消息的离散有记忆信源熵也为共熵H(XK) 当K＝2时 H(X2)＝H(X)＋H(X|X) ∵ H(X|X) H(X) ∴ H(X2) 2H(X) 推广到K重 H(XK)＝H(X)＋H(X|X)＋…＋H(X|XX…X) [bit/符号序列] (K－1)个 (4) 发出符号序列消息的马尔可夫信源熵 马尔可夫信源熵是条件熵 若从前一状态Ei转移到后一状态Ej有多种可能性，则信源由状态Ei发出一个符号的熵H（X/i）为 H（X/i） ＝－ P(xj|Ei)logP(xj|Ei) 再进一步对前一状态Ei的全部可能性作统计平均，就得到马尔可夫信源熵 H 为 H＝ P(Ei) H（X/i） ＝－ P(Ei) P(xj|Ei)logP(xj|Ei) [bit/符号] 1.5 各种离散信源的时间熵 信源的时间熵——在单位时间内信源发出的平均信息量，单位 为bit/s. ①发出单个符号消息的离散无记忆信源的时间熵 已知离散无记忆信源各符号的概率空间 由于发出各符号所占有时间是不同的 可设符号X1的长度为b1，X2为b2，…，Xi为bi，…，XN为bN 单位均为s(秒) 则信源各符号的平均长度是各个符号长度的概率加权平均值，即 X P(X) X1，X2， …，Xi，XN P1， P2，…， Pi， PN [s/符号] 则信源的时间熵 Ht为： 若各符号时间长度相同，均为b(s)，则可直接得 又若信源每秒平均发出 n个符号，有