信息论课后习题的答案.docVIP

信息论基础 1.8 p (s0 ) = 0.8p (s0 ) + 0.5p (s2 ) p (s1 ) = 0.2p (s0 ) + 0.5p (s2 ) p (s2 ) = 0.5p (s1 ) + 0.3p (s3 ) p (s3 ) = 0.5p (s1 ) + 0.7p (s3 ) p (s0 ) + p (s1 ) + p (s2 ) + p (s3 ) = 1 p (s0 ) = ， p (s1 ) = p (s2 ) = ，p (s3 ) = 第2章 信息的度量 2.4 logk 2.12 （1）I (xi) = -log1/100 = log100备注：2.12有错误 （2）H(X)=log100. 2.17 （1） （2） （3） 2.30 （1）H(X) = 1.69 (Bit/符号) （2）H(Y) = 1.57 (Bit/符号) (3) (4) （5）I (X;Y) = n1=1、n1=2、n1=3、n1=30，x2→11，x3→10 （2）x1x1→01，x1x2→110，101，，10，1111，1110，1001 3.17 方法一：概率之和与原信源某概率相等，概率之和往上排： 方法二：概率之和与原信源某概率相等，概率之和往下排： 两种方法得到的码集都是最佳的。 3.24 （1）H(X) = (1/4)log4 + (3/4)log(4/3) = 0.811 (2） q (0)q (1)=3/4 （3）扩展信源 Fano编码 消息 x0x0 x0x1 x1x0 x1x1 码字 111 110 10 0 (4) 扩展信源 Huffman编码 D=2 消息 x1 x1 x1 x1 x1 x0 x1 x0 x1 x0 x1 x1 x1 x0 x0 x0 x1 x0 x0 x0 x1 x0 x0 x0 码字 0 101 101 100 11111 11110 11101 11100 （1）Shannon 编码 D＝2 消息 x1 x2 x3 x4 码字 0 10 110 111 (2) Huffman编码 D=2 ，得到的编码与（1）一致 （3）之所以得到这种结果，是因为消息的每个概率都可以写成D – ni的形式，取每个码字的码长分别为ni即可。 第4章 离散信道的信道容量 4.8 （1） （2） 4.9 (1) (2) α＝0.5时，I(X;Y)取得最大值 (3) 4.12 （1） （2） 备注：4.1第二小题第一个有错误 4.15 C = 0.322 (Bit/码符) 第5章 习题 5.10 （1）极大后验概率译码准则：y1→x1，y2→x2，y3→x1 pe1＝11/24 (2) 信源等概分布，采用极大似然译码准则y1→x1，y2→x2，y3→xpe1=1/2 5.11 译码：y1→x1，y2→x，y3→xpe1＝/42 5.14 （1） （2） 第6章 0 ≤D ≤ 0.5 值域：0 ≤ R(D) ≤ H(X) = 1.5 (Bit/符号) 第章 习题8.13 （1）n=6 ，k=3，该码共有8个码字。 （2）生成矩阵 （3）010111不是码字，100011是码字。，校验矩阵 （2）d = 4。 1