信息论基础课件5.2.pptVIP

* 5.2. 费诺编码 费诺编码也不是最佳编码方法，但有时可以得到最佳编码。 费诺编码方法如下： (1)首先，将信源符号以概率递减的次序排列起来， (2)将排列好的信源符号分成两组，使每一组的概率之和相接近; (3)并各赋予一个二元码符号“0”或者“1”； (4)然后，将每一组的信源符号再分成两组，使每一小组的符号概率之和也接近相等，并又分别赋予一个二元码符号。依此下去，直到每一个小组只剩下一个信源符号为止。这样，信源符号所对应的码符号序列则为编得的码字。 注：如果要编m进制码，则将概率分成尽可能相等的m组。 费诺编码方法属于概率匹配编码，具有如下特点： 1、概率大，则分解次数小；概率小则分解次数多。这符合最佳码原则。 2、码字集合是唯一的。 3、分解完了，码字出来了，码长也有了,即先有码字后有码长。 因此，费诺编码方法又称为子集分解法。 例题：信源符号及其概率仍如香农码中的例题所示。编码过程及编码结果如下表所示： 4 1111 4 1110 3 110 2 10 3 011 3 010 2 00 码长 二元码字 1 0 第一次分组 1 0 第二次分组 1 0 1 0 第三次分组 1 0 1 0 第四次分组 0.01 0.10 0.15 0.17 0.18 0.19 0.20 符号概率 消息符号 该费诺码的平均码长为 信息传输率为 很显然，费诺编码方法的效率要高于香农码。 符号概率 信源符号 1 0 第一次分组 1 0 1 0 第二次分组 1 0 1 0 第三次分组 1 0 1 0 第四次分组 1111 1110 1101 1100 101 100 01 00 码字 4 4 4 4 3 3 2 2 码长 1/16 1/16 1/16 1/16 1/8 1/8 1/4 1/4 例题5.2.2：离散无记忆信源及其符号概率分布如下表所示，求其费诺码，并计算其编码效率。 因此是最佳码。 信源的熵为 码的平均长度为 编码效率： 原因是概率分布满足一定的条件。 5.4 设信源 (1) 求信源熵H(X)； (2) 编二进制香农码和二进制费诺码； (3) 计算二进制香农码和二进制费诺码的平均码长和编码效率； (4) 编三进制费诺码； (5) 计算三进制费诺码的平均码长和编码效率； 解：(1) 二进制香农码： xi p(xi) pa(xi) ki 码字 x1 0.5 0 1 0 x2 0.25 0.5 2 10 x3 0.125 0.75 3 110 x4 0.0625 0.875 4 1110 x5 0.03125 0.9375 5 11110 x6 0.015625 0.96875 6 111110 x7 0.0078125 0.984375 7 1111110 x8 0.0078125 0.9921875 7 1111111 ? 二进制费诺码： ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? xi p(xi) 编码 码字 ki x1 0.5 0 ? 0 1 x2 0.25 1 0 ? 10 2 x3 0.125 1 0 ? 110 3 x4 0.0625 1 0 ? 1110 4 x5 0.03125 1 0 ? 11110 5 x6 0.015625 1 0 ? 111110 6 x7 0.0078125 1 0 1111110 7 x8 0.0078125 1 1111111 7