信息论与纠错编码编码习题答案.docVIP

信息论基础 1.7 1.8 p (s0 ) = 0.8p (s0 ) + 0.5p (s2 ) p (s1 ) = 0.2p (s0 ) + 0.5p (s2 ) p (s2 ) = 0.5p (s1 ) + 0.3p (s3 ) p (s3 ) = 0.5p (s1 ) + 0.7p (s3 ) p (s0 ) + p (s1 ) + p (s2 ) + p (s3 ) = 1 p (s0 ) = ， p (s1 ) = p (s2 ) = ，p (s3 ) = 1.9 Pe = q(0)p + q(1)p = 0.06 (1-0.06)﹡1000﹡10 = 9400 9500 第2章 信息的度量 2.4 logk 2.5 I (X; Y Z)= I (X; Y )+ I (X; Z∣Y) 2.7 H = 0.25(Bit/符号) 2.8 H = 0.82(Bit/符号) 2.10 （1） （2） （3） （4） 2.11（1）H(X) = log6 = 2.58 (Bit/符号)H(X) =2.36 (Bit/符号)（3）I (A+B=7) = - log1/6 = log6 = 2.585 (Bit)2.12 （1）I (xi) = -log1/100 = log100 （2）H(X)=log100. 2.13 2.14 R t =1000/4 (码字/秒) × H(U) =25×9＝2250（Bit/秒）2.15 ―log p = log 55/44。 2.16 I(X;Y)= 1.82 (Bit/符号) 2.17 （1） （2） （3） 2.20 时，H(U)取得最大值。 2.30 （1）H(X) = 1.69 (Bit/符号) （2）H(Y) = 1.57 (Bit/符号) (3) (4) （5）I (X;Y) = n1=1、n1=2、n1=3、n1=3.13 （1）H(X)=-0.9log0.9-0.1log0.1=log10-0.9log9 （2） （3） 3.14 （1）x1 →0，x2→11，x3→10 （2）x1x1→01，x1x2→110，101，，10，1111，1110，1001 （1） （2） 3.16 （1）当M=2 i，这种情况下得到的是等长码，码长为i。 （2）当M=2 i +1平均码长为 3.17 方法一：概率之和与原信源某概率相等，概率之和往上排： 方法二：概率之和与原信源某概率相等，概率之和往下排： 两种方法得到的码集都是最佳的。 3.18 （1）shannon编码，D=2 消息 x1 x2 x3 x4 x5 x6 x7 x8 码字 000 001 011 1000 1010 1011 1101 1110 （2）Fano编码，D=2 消息 x1 x2 x3 x4 x5 x6 x7 x8 码字 00 010 011 100 101 110 1110 1111 （3）Huffman编码，D＝3 消息 x1 x2 x3 x4 x5 x6 x7 x8 码字 0 21 20 12 11 10 221 220 （4）Huffman编码，D＝4 消息 x1 x2 x3 x4 x5 x6 x7 x8 码字 2 0 33 32 31 30 11 10 3.21 （1）D=2 x3 x4 x5 x6 x7 x8 x9 x10 码字 111 101 100 011 001 000 1101 1100 0101 0100 （2）D=3 x3 x4 x5 x6 x7 x8 x9 x10 码字 22 21 20 12 10 02 01 00 111 110 3.22 方法一：概率之和与原信源某概率相等，概率之和往上排； 方法二：概率之和与原信源某概率相等，概率之和往下排； 第一种方法对实用更好 3.24 （1）H(X) = (1/4)log4 + (3/4)log(4/3) = 0.811 (2） q (0)q (1)=3/4 （3）扩展信源 Fano编码 消息 x0x0 x0x1 x1x0 x1x1 码字 111 110 10 0 (4) 扩展信源 Huffman编码 D=2 消息 x1 x1 x1 x1 x1 x0 x1 x0 x1 x0 x1 x1 x1 x0 x0 x0 x1 x0 x0 x0 x1 x0 x0 x0 码字 0 101 101 100 11111 11110 11101 11100 （1）Shannon 编码 D＝2 消息 x1 x2 x3 x4 码字 0 10 11