信息论与编码第五章答案.docVIP

5.1?设信源 (1)?求信源熵H(X)； (2)?编二进制香农码； (3)?计算平均码长和编码效率。 解： (1) (2) ai p(ai) pa(aj) ki 码字 a1 0.2 0 3 000 a2 0.19 0.2 3 001 a3 0.18 0.39 3 011 a4 0.17 0.57 3 100 a5 0.15 0.74 3 101 a6 0.1 0.89 4 1110 a7 0.01 0.99 7 1111110 (3) 5.2?对习题5.1的信源编二进制费诺码，计算编码效率。 解： ai p(ai) 编码 码字 ki a1 0.2 0 0 　 　 00 2 a2 0.19 1 0 　 010 3 a3 0.18 1 　 011 3 a4 0.17 1 0 　 　 10 2 a5 0.15 1 0 　 110 3 a6 0.1 1 0 1110 4 a7 0.01 1 1111 4 ? 5.3?对信源编二进制和三进制哈夫曼码，计算各自的平均码长和编码效率。 解： 二进制哈夫曼码： xi p(xi) 编码 码字 ki s6　 　 ? ? ? ? ? 1 　 　 s5 　 ? ? ? ? 0.61 0 　 　 s4 　 ? ? ? 0.39 　 1 　 　 s3 　 ? ? 0.35 　 0 　 　 　 s2 　 ? 0.26 　 　 1 　 　 　 x1 0.2 　 　 　 0 ? 　 10 2 x2 0.19 　 　 　 1 ? 　 11 2 x3 0.18 　 　 0 ? ? 　 000 3 x4 0.17 　 　 1 ? ? 　 001 3 x5 0.15 　 0 ? ? ? 　 010 3 s1 　 0.11 1 ? ? ? 　 　 　 x6 0.1 0 ? ? ? ? 　 0110 4 x7 0.01 1 　 　 　 　 　 0111 4 ? 三进制哈夫曼码： xi p(xi) 编码 码字 ki s3 ? ? ? 1 　 　 s2 ? ? 0.54 0 　 　 s1 ? 0.26 ? 1 　 　 x1 0.2 ? ? 2 2 1 x2 0.19 ? 0 ? 00 2 x3 0.18 ? 1 ? 01 2 x4 0.17 ? 2 ? 02 2 x5 0.15 0 ? ? 10 2 x6 0.1 1 ? ? 11 2 x7 0.01 2 ? ? 12 2 5.4?设信源 (1)?求信源熵H(X)； (2)?编二进制香农码和二进制费诺码； (3)?计算二进制香农码和二进制费诺码的平均码长和编码效率； (4)?编三进制费诺码； (5)?计算三进制费诺码的平均码长和编码效率； 解： (1) (2) 二进制香农码： xi p(xi) pa(xi) ki 码字 x1 0.5 0 1 0 x2 0.25 0.5 2 10 x3 0.125 0.75 3 110 x4 0.0625 0.875 4 1110 x5 0.03125 0.9375 5 11110 x6 0.015625 0.96875 6 111110 x7 0.0078125 0.984375 7 1111110 x8 0.0078125 0.9921875 7 1111111 ? 二进制费诺码： xi p(xi) 编码 码字 ki x1 0.5 0 ? ? ? ? ? ? 0 1 x2 0.25 1 0 ? ? ? ? ? 10 2 x3 0.125 1 0 ? ? ? ? 110 3 x4 0.0625 1 0 ? ? ? 1110 4 x5 0.03125 1 0 ? ? 11110 5 x6 0.015625 1 0 ? 111110 6 x7 0.0078125 1 0 1111110 7 x8 0.0078125 1 1111111 7 (3) 香农编码效率： 费诺编码效率： (4) xi p(xi) 编码 码字 ki x1 0.5 0 ? ? 　 0 1 x2 0.25 1 　 ? 　 1 1 x3 0.125 2 0 ? 　 20 2 x4 0.0625 1 　 　 21 2 x5 0.03125 2 0 　 220 3 x6 0.015625 1 　 221 3 x7 0.0078125 2 0 2220 4 x8 0.0078125 1 2221 4 (5) ? 5.5?设无记忆二进制信源 先把信源序列编成数字0，1，2，……，8，再替换成二进制变长码字，如下表所示。 (1)?验证码字的可分离性； (