信息论与纠错编码题库.docVIP

第三章 离散信源无失真编码 3.2 离散无记忆信源，熵为H[x]，对信源的L长序列进行等长编码，码字是长为n的D进制符号串，问： （1）满足什么条件，可实现无失真编码。 （2）L增大，编码效率 也会增大吗？ 解： （1）当时，可实现无失真编码； （2）等长编码时，从总的趋势来说，增加L可提高编码效率，且当时，。 但不一定L的每次增加都一定会使编码效率提高。 3.3 变长编码定理指明，对信源进行变长编码，总可以找到一种惟一可译码，使码长满足+,试问在+时，能否也找到惟一可译码？ 解：在+时，不能找到惟一可译码。 证明：假设在+时，能否也找到惟一可译码，则由变长编码定理当满足+，总可以找到一种惟一可译码知：在 ① 时，总可以找到一种惟一可译码。 由①式有：logD ② 对于离散无记忆信源，有H(x)= 代入式②得： 即在 时，总可以找到一种惟一可译码； 而由定理给定熵H（X）及有D个元素的码符号集，构成惟一可译码，其平均码长满足+1 两者矛盾，故假设不存在。 所以，在+时，不能找到惟一可译码。 3.7 对一信源提供6种不同的编码方案：码1~码6，如表3-10所示 表3-10 同一信源的6种不同编码 信源消息 消息概率 码1 码2 码3 码4 码5 码6 u1 1/4 0 001 1 1 00 000 u2 1/4 10 010 10 01 01 001 U3 1/8 00 011 100 001 100 011 u4 1/8 11 100 1000 0001 101 100 u5 1/8 01 101 10000 00001 110 101 u6 1/16 001 110 100000 000001 1110 1110 u7 1/16 111 111 1000000 0000001 1111 1111 这些码中哪些是惟一可译码？ 这些码中哪些是即时码？ 对所有唯一可译码求出其平均码长。 解： 码1： 其二次扩展码是奇异码，如u1u2和u5u1对应的码字均为010； 码2： 是惟一可译码，非奇异等长码是惟一可译码，且是即时码，平均码长为3； 码3： 是延长码，是惟一可译码，但不是即时码，平均码长为==3.06 码4： 是非延长码，故是惟一可译码，也是即时码；平均码长==3.06 码5： 是数码，即非延长码，因此是即时码；平均码长==2.625 码6：是非延长码，故是惟一可译码，也是即时码；平均码长==3.125 综上所述，码2~6均为惟一可译码，码2、4、5、6是即时码。 3.10 信源符号集X={0,1,2}，一信源含8个消息，编码为即时码，若要求码长只取1,3,5中的一个，应用克拉夫特不等式，分析按上述要求能否构成唯一可译码。 解： 根据克拉夫特不等式唯一可译码充要条件为码长取1，则 不等式左边=8*1/31 ，则唯一可译。 码长取3，则 不等式左边=8*(1/3)^31 , 则唯一可译。 码长为5，则 不等式左边=8*(1/3)^51 , 则唯一可译。 和N=+1（m为整数）时，每个码字的长度等于多少？平均码长等于多少？ 解：当N=，最佳二进制编码每个码字的长度均为m；平均码长=m 当N=+1，令q(x1)q(x2) q(x3) …q(),最佳二进制编码前面–1个码字的长度为m，后2个码字的长度为m+1；平均码长= 3.15 离散无记忆信源= 求X的最佳二元编码，平均码长及编码效率。 求的最佳二元编码，平均码长及编码效率。 求的最佳二元编码，平均码长及编码效率。 解：（1）编码结果如下图所示： 平均码长=10.5+2（0.3+0.2）=1.5（码元/符号） 信源熵H（X）=– = -0.5log0.5-0.3log0.3-0.2log0.2=0.5+0.521+0.464=1.49(比特/符号) 编码效率===0.99 （2）= 编码结果如下图所示： 平均码长=20.25+30.5+40.25=3（码元/符号） 信源熵H（）=- =0.5+0.821+0.664+0.313+0.487+0.186=2.31 (比特/符号) 编码效率===0.77 编码如下图所示： 序号k D=2霍夫曼编码 D=2编码码长 概率 1 x1x1x1 100 4 0.125 2 x1x1x2 1101 4 0.075 3 x1x2x1 1100 4 0.075 4 x2x1x1 1011 4 0.075 5 x1x1x3 0100 4 0.05 6 x1x3x1 0011 4 0.05 7 x3x1x1 0010 4 0.05 8 x1x2x2 0001 4 0.045 9 x2x1x2 0000 4 0.045 10 x2x