最新信息论与编码答案.docxVIP

《信息论与编码（第二版）》曹雪虹答案 第二章 2.1 一个马尔可夫信源有 3个符号u1,u2,u3，转移概率为：p u1 lu1 1/2, p u2| u1 1/2 , p ua |ui 0， p U1|u2 1/3， p U2|u2 0， p ua |u2 2/3 ， p U1 |u3 1/3， p U2| ua 2/3 ， p U3|U3 0，画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为:1/2 1/2 0p 1/3 0 2/3 状态转移矩阵为: 1/2 1/2 0 p 1/3 0 2/3 1/3 2/3 0 设状态u1, u2, u3稳定后的概率分别为 W1，W2、W3 WP WW1 W WP W W1 W2 1 1 1 W1 W2 W3 W1 2 3 3 W1 得2W1 2W3 3 W2 计算可得W2 1 2 W2 W3 3 W3 W1 W2 W3 1 W3 10 25 9 25 6 25 p(0|00)=0.8， p(0|11)=0.2 p(0|00)=0.8， p(0|11)=0.2， p(1|00) =0.2， p(1|11)=0.8， p(0|01)=0.5， p(0 |10)=0.5， p(1|01)=0.5， p(1|10)=0.5。画出 状态图，并计算各状态的稳态概率 解: p(0|00) p(00100) 0.8 p(0|01) p(10|01) 0.5 p(0|11) p(10|11) 0.2 p(0|10) p(00110) 0.5 p(1| 00) p(01| 00) 0.2 p(1|01) p(11|01) 0.5 p(1|11) p(11|11) 0.8 p(1|10) p(01|10) 0.5 1 1 1 1 于是可以列出转移概率矩阵: 0.8 0 0.5 0 0.2 0 0.5 0 0 0.5 0 0.2 0 0.5 0 0.8 状态图为: 0.80.5100.50.5/// 0.20.20.50.8设各状态 0.8 0.5 10 0.5 0.5 // / 0.2 0.2 0.5 0.8 设各状态 00 , 01 , 10 , 11的稳态分布 概率为 Wl,W2，W3，W4有 WP W4Wi WP W 4W i 1 W1 0.8W1 0.5W3 W1 0.2W1 0.5W3 W2 W2 0.5W2 0.2W4 W3 计算得到 0.5W2 0.8W4 W4 W3 W1 W2 W3 W4 1 W4 得 5 14 1 7 1 7 § 14 2.3同时掷出两个正常的骰子，也就是各面呈现的概率都为 1/6，求: 3和5同时出现”这事件的自信息； “两个1同时出现”这事件的自信息； ⑶ 两个点数的各种组合(无序)对的熵和平均信息量； ⑷ 两个点数之和(即2, 3,…，12构成的子集)的熵; (5)两个点数中至少有一个是1的自信息量。 P(Xi)解: (1) P(Xi) 解: (1) l(Xi) 1 1 1 1 丄 6 6 6 6 18 1 log p(xi) log 4.170 bit 18 P(Xi) ⑵ I (Xi) 1 1 丄 6 6 36 log p(Xi) 5.170 bit 两个点数的排列如下: 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66 共有21种组合: 其中11 ,22 ,33,44,55 ,66的概率是丄1 丄 6 6 36 其他15个组合的概率是2 2 1 丄 6 18 H (X) P(xjlog p(xj i 6 丄 log 丄 15 丄 log 丄 4.337 bit/symbol 36 36 18 18 (4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下: X 2 3 4 5 6 7 9 10 11 12 1 1 1 1 _5_ 1 1 1 1 1 P(X) 36 18 12 9 36 6 36 9 12 18 36 H(X) P(Xi)log p(Xi) i (5) c 1「 1 1 1 1 , 1 c 1「 1 c 5 . 5 1 , 1 2 log - 2 log 2 log 一 2 log - 2 log -log- 36 36 18 18 12 12 9 9 36 36 6 6 3.274 bit /symbol P(Xi) I(Xi) 11 11 36 log p(Xi) .11 log36 1.710 bit 2-4 =6.6449PWO—— =6.644 9P WO ——Lc g(1001 = O.OS1 100孕 T (100、 Log—— 99)