信息论与编码zjh201209zjh第五章习题.ppt

信源编码 第五章 * 习题讲解 5-1 将下表所列的某六进制信源进行二进制编码，试问： 01 001 100 101 110 111 1 000 001 010 110 110 0 10 1101 1100 1001 1111 0 10 110 1110 11110 111110 0 01 011 0111 01111 011111 000 001 010 011 100 101 1/2 1/4 1/16 1/16 1/16 1/16 u1 u2 u3 u4 u5 u6 概率 消息 这些码中哪些是唯一可译码？ 哪些码是非延长码？ 对所有唯一可译码求出其平均码长和编译效率。 解：首先，根据克劳夫特不等式，找出非唯一可译码 不是唯一可译码，而 ： (2) 信源熵为 H(X)= (1) 因为A,B,C,D四个字母,每个字母用两个码,每个码为0.5ms, 所以每个字母用10ms，当信源等概率分布时,信源熵为(X)=log(4)=2 平均信息传递速率为 5-2已知信源的各个消息分别为字母A、B、C、D，现用二进制码元对消息字母作信源编码，A—(x0,y0)，B—(x0,y1)，C—(x1,y0)，D—(x1,y1)，每个二进制码元的长度为5ms。计算： （1）若各个字母以等概率出现，计算在无扰离散信道上的平均信息传输速率。 （2）若各个字母出现的概率分别为P(A)=1/5，P(B)=1/4，P(C)=1/4，P(D)=3/10，再计算在无扰离散信道上的平均信息传输速率。 （3）若字母消息改用四进制码元作信源编码，码元幅度分别为0V，1V，2V，3V，码元长度为10ms。重新计算（1）和（2）两种情况下的平均信息传输速率。 =0.198bit/ms=198bit/s bit/ms=200bit/s (2) 每个信源使用3个二进制符号,出现0的次数为 5-5某信源有8个符号{u1，…，u8}，概率分别为1/2、1/4、1/8、1/16、1/32、1/64、1/128、1/128，试编成000、001、010、011、100、101、110、111的码。 （1）求信源的符号熵； （2）求出现一个“1”或一个“0”的概率； （3）求这种码的编码效率； （4）求出相应的香农码和费诺码； （5）求该码的编码效率。 (1) H(U)= 出现1的次数为 P(0)= P(1)= (4) 相应的香农编码7 7 0.992 1/128 x8 1111110 7 7 0.984 1/128 x7 111110 6 6 0.969 1/64 x6 11110 5 5 0.938 1/32 x5 1110 4 4 0.875 1/16 x4 110 3 3 0.75 1/8 x3 10 2 2 0.5 1/4 x2 0 1 1 0 1/2 x1 码字 码长Ki -Logp(xi) 累加概率Pi 符号概率pi 信源符号xi (3) 相应的费诺码 1 1/128 x8 1111110 0 1 1/128 x7 111110 0 1 1/64 x6 11110 0 1 1/32 x5 1110 0 1 1/16 x4 110 0 1 1/8 x3 10 0 1 1/4 x2 0 0 1/2 x1 二元码 第七次分组 第六次分组 第五次分组 第四次分组 第三次分组 第二次分组 第一次分组 符号概率pi 信源符号xi （5）香农码和费诺码相同 平均码长为 编码效率为： 5-10 设有离散无记忆信源P(X)={0.37,0.25,0.18,0.10,0.07,0.03}; (1)求该信源符号熵H(X); (2) 用哈夫曼编码编成二进制变长码，计算编码效率。 (3)要求译码错误小于10-3，采用定长二元码要达到(2)中的哈夫曼编码效率，问需要多少个信源符号连在一起编？ 解：（1）信源熵 (2) 用哈夫曼编码编成二进制变长码为 {00，01，11，101，1000，1001} 平均码长 码符号/信源符号 比特/符号 编码效率 要求译码错误小于10-3，令δ=10-3 ，则需要一起编的符号长度应满足 (3)要求译码错误小于10-3，采用定长二元码要达到(2)中的哈夫曼编码效率。 第一步： 根据 第二步 5-11信源符号X有6种字母，概率为0.32、0.22、0.18、0.16、0.08、0.04。 （1）求信源熵； （2）用香农编码法编成二进制变长码，计算其编码效率； （3）用费诺编码法编成二进制变长码，计算其编码效率； （4）用哈夫曼编码法编成二进制变长码，计算其编码效率；