第12讲 霍夫曼码讲述.docx

PAGE1 / NUMPAGES6第12讲 霍夫曼码 简介1951年，霍夫曼(Huffman)在MIT攻读博士时，信息论课程的导师法诺（Fano）给全班学生布置的学期报告的题目是，寻找最优的二进制编码。1952年，霍夫曼找到了一种编码方法，并证明它是最优即时码。霍夫曼码被普遍应用于传真、卫星通信、MP3音频压缩等技术领域。霍夫曼码的构造方法根据信源符号的概率，自底向上地构造码树。下面给出二元霍夫曼码的构造方法，多元霍夫曼码的构造方法类似。 将各个信源符号按照发生概率从大到小的次序排列，作为码树的叶结点。在当前没有父结点的所有结点中，选出两个概率最小的结点，构造其父结点，并用这两个子结点的概率的和作为其父结点的概率。重复第2步，直到构造出根结点。例1. 设某无记忆信源符号集的概率分布为 试为该信源构造一个分组长度为1的二元霍夫曼码。解：根据这个概率分布，构造二元霍夫曼码的码树如下： aa1, 0.501.00.50.25a2, 0.25a3, 0.125a4, 0源符号 码字a1 0 a2 10a3 110a4 111（1）编码前的通信效率：先计算信源熵H∞, 再计算通信效率 。（2）编码后的通信效率：先计算平均码长，再计算码率，最后计算编码后的通信效率 ，其中r是码元数。二元霍夫曼码的特点：1. 从码字的尾巴开始构造，先构造长码字的尾巴，后构造短码字的尾巴。2. 每次给两个概率最小的符号添加码元。3. 是概率匹配码。4. 是即时码。5. 在最长的两个码字中，至少有两个码字的形式分别为w0,w1，其中w是这两个码字共同的前缀。6. 将这两个兄弟码字用w代替，其它码字保持不变，则所得的仍然是霍夫曼码。注：若合并所得的概率与某个信源符号的概率相等，则对调二者的次序，这样可以减小码长的方差。码长方差较小，则编码时编码器输出码符号的速率会比较平稳。二元霍夫曼码在组合测试中的应用例2. 设计一种组合测试方法，从几瓶红酒中找出一瓶劣质红酒。所谓组合测试指可以将几瓶酒中各取一点，混合起来后再测试其中有没有劣质酒。借助于霍夫曼码编码，可以设计出期望测试次数最小的最优组合测试方法。在这种测试方法中，每次测试可以获得尽可能大的平均信息，从而使得平均测量次数最小。假设有四瓶红酒分别记为a1, a2, a3, a4，其是劣质红酒的概率分布为根据例1，这四瓶红酒有如下霍夫曼编码：信源符号信源符号 码字a1 0 a2 10a3 110a4 111组合测试方法：第1步 根据码字的首字符将待测试的4瓶酒分为两组，即首字符为0的构成一组，即{a1}，首字符为1的构成一组，即{a2, a3, a4}。测试其中一组可知道劣质红酒在哪一组中。第2步 如果上一步测试还没有找出劣质红酒，则对所确定的劣质红酒所在的组继续进行分组，这次分组所依据的是这一组中各瓶红酒的码字的下一个符号。第3步 重复第二步直到找出劣质红酒。N-分组霍夫曼编码例3. 设某无记忆信源符号集的概率分布为 显然{0,1}是该信源的霍夫曼码。然而，由于编码对象只有两个，这个霍夫曼码没有能够应用概率匹配策略。为了克服编码对象太少的局限，可以增大编码的分组长度。这里我们尝试构造一个2-分组霍夫曼码。由于该信源是无记忆的，故所有2-分组的概率分布为 根据这个分布，构造二元霍夫曼码的码树如下：板书。（1）编码前的通信效率：先计算信源熵H∞, 再计算通信效率 。（2）编码后的通信效率：先计算平均码长，再计算码率，最后计算编码后的通信效率 ，其中r是码元数。讨论：继续增大分组长度，可以得到通信效率更高的霍夫曼码，为什么？注：根据无失真信源编码定理，随着分组长度增大，平均码长会越来越小，从而编码效率会越来越大。 问题：随着分组长度增大，构造编码的计算量也越来越大，只能用程序进行自动编码。如果继续增大分组长度，会出现什么不好的情况？霍夫曼编码的最优性霍夫曼码的构造方法所构造的是一个码树，所以霍夫曼码是即时码。我们要论证的是，在码元数和分组长度相同的情况下，霍夫曼码是一个信源的所有即时码中最优的即时码。直观依据：根据上面的例1，可以看出，在二元霍夫曼码的码树的构造过程中，码长与概率是相匹配的；每次添加的两个码元符号都是必须要添加的。这让我们在直觉上相信霍夫曼码是最优的即时码。为了论证这个直觉的合理性，我们继续观察二元霍夫曼码的码树，可以看到如下性质：有两个高度最大的叶结点是兄弟，是同一个父结点的子结点。对最高的两个兄弟叶结点进行剪枝后，所得的树仍然是霍夫曼码的码树。这给予我们的一个启发是，用归