信息论基础与编码.doc

5-1 有一信源， 它有六种可能的输出， 其概率分布如下表所示， 表中给出了对应的六种 编码 C1、C2、 C3、C4、 C5 和 C6 。 1） 求这些码中哪些是唯一可译码； 2） 求哪些是非延长码（即时码） ； 3） 对所有唯一可译码求出其平均码长。 消息 概率 C1 C2 C3 C4 C5 C6 a1 1/2 000 0 0 0 1 01 a2 1/4 001 01 10 10 000 001 a3 1/16 010 011 110 1101 001 100 a4 1/16 011 0111 1110 1100 010 101 a5 1/16 100 01111 11110 1001 110 110 a6 1/16 101 011111 111110 1111 110 111 解：（ 1）1,2,3,6 是唯一可译码； (2)1,3,6 是即时码。 5-2 证明若存在一个码长为 l1, l2 , , lq 的唯一可译码，则一定存在具有相同码长的即时 码。 证明： 由定理可知若存在一个码长为的唯一可译码，则必定满足 kraft 不等式 1。由定理 4 可知若码长满足 kraft 不等式，则一定存在这样码长的即时码。所以若存在码长的唯一 可译码，则一定存在具有相同码长 P（y=0）的即时码。 S s1 s2 s6 6 5-3 设信源 ， pi 1。将此信源编码成为 r 元唯一可 P(s) p1 p2 p6 i 1 译变长码（即码符号集 X { x1 , x2 , , xr } ），其对应的码长为（ l1 ,l 2 , ,l 6 ）=（ 1，1，2，3， 2， 3），求 r 值的最小下限。 解： 要将此信源编码成为 r 元唯一可译变长码，其码字对应的码长 （l 1 ,l 2 ,l 3, l 4, l 5, l 6） =(1,1,2,3,2,3) 必须满足克拉夫特不等式，即 6 r li r 1 r 1 r 2 r 3 r 2 r 3 1 i 1 所以要满足 2 2 2 1 ，其中 r 是大于或等于 1 的正整数。 r r 2 r 3 可见，当 r=1 时，不能满足 Kraft 不等式。 当 r=2,  2 2 2 2 4 8  1 ，不能满足 Kraft 。 当 r=3, 2 2 2 26 1，满足 Kraft 。 3 9 27 27 所以，求得 r 的最大值下限值等于 3。 5-4 设某城市有 805 门公务电话和 60000 门居民电话。作为系统工程师，你需要为这些 用户分配电话号码。所有号码均是十进制数，且不考虑电话系统中 0、 1 不可用在号码首位 的限制。（提示：用异前缀码概念） （ 1）如果要求所有公务电话号码为 3 位长，所有居民电话号码等长，求居民号码长度L1 的最小值； 2）设城市分为 A、B 两个区，其中 A 区有 9000 门电话， B 区有 51000 门电话。现进一步要求 A 区的电话号码比 B 区的短 1 位，试求 A区号码长度 L2 的最小值。 解： (a) 805 门电话要占用 1000 个 3 位数中的 805 个，即要占用首位为 0～ 7 的所有数 字及以 8 为首的 5 个数字。因为要求居民电话号码等长， 以 9 为首的数字 5 位长可定义 10 000 个号码， 6 位长可定义 100 000 个号码。所以 min L1 6。 或由 Craft 不等 式，有 805 10 3 60000 10 L1 1 L1 1 805 10 3 min L1 6 解得 log10 60000 5.488 ， 即 (b) 在 (a) 的基础上， 将 80 为首的数字用于最后 5 个公务电话， 81～ 86 为首的 6 位数用于 B 区 51 000 个号码，以 9 为首的 5 位数用于 A区 9 000 个号码。所以， min L2 5。或 由 Draft 不等式，有 805 10 3 9000 10 L2 51000 10 (L2 1) 1 或 805 10 3 ( 9000 51000 10 1) 10 L2 1 解得 L2 log 10 1 805 10 3 4.859 即 min L2 5 9000 5100 5-5 求概率分布为 (1,1,1, 2 , 2 ) 的信源的二元霍夫曼码。 讨论此码对于概率分布为 3 5 5 15 15 ( 1 , 1 , 1 , 1 , 1) 的信源也是最佳二元码。 5 5 5 5 5 p( si ) 1 1 1 2 , 2 解： 信源的概率分布为： ( , 5 , , ) 3 5 15 15 二元霍夫曼码： 00，10， 11，010， 011，码长： 2， 2， 2， 3， 3 当信源给定时， 二元霍夫