第6章2 霍夫曼码、算术码和LZW码.docVIP

霍夫曼码 1952年霍夫曼(Huffman)提出的，是历史记录中第一个最优即时码。 二元霍夫曼码的构造方法：根据信源符号的概率自底向上地构造码树，步骤如下： 将信源U的n个符号ui按概率p(ui)从大到小排列，构成码树的叶节点。 将两个最小的概率值相加，构成二者的父节点。 将所有没有父节点的概率值按从大到小重新排列。 重复（2）与（3）直到根节点出现，即步骤（2）中两个概率值相加=1. 例6-11 0.5， 0.25， 0.125， 0.125 解： 1）画出码树包括各节点对应的概率值。 2）平均码长： 编码效率： 信源熵（信源的信息传输率）： 信源的相对熵率（信源的信息传输效率）： 二分组霍夫曼码 例6-12 0.7，0.3 结论：对于“小消息信源”，必须用分组长度较大的霍夫曼码，才能获得较大的编码效率与较好的压缩效果。这是提高编码效率的重要途径。 最优分组码 定义 1. 令S为一离散信源， 用一个新符号取代S中两个概率最小的信源符号，并把这两个最小概率合并为该新符号的概率，而其它信源符号及其概率不变，所得的信源S(1)称为信源S的（一次）缩减信源 ，并称S为S(1)的扩展信源。n-步缩减信源S(n). 2. 令C是信源S的一个即时码，其中有两个码字w’与w’’长度最大且相等，用其最大真前缀替换C中的w’与w’’所得的即时码C(1)称为C的（一次）缩减码，并称C为C(1)的扩展码。与n-步缩减码分别记为和Cn。 显然，信源每缩减一次，其符号总数减1；即时码每缩减一次其码字总数减1. 引理1 令CC(1)是码C的一个缩减码，则两个码的平均码长之间有如下关系： LC = L C(1) + p’+p’’ 其中p’与p’’分别是C中被合并的两个码字的概率。 证明 设Sq个符号，概率分别为pi，码C中对应的码字长为 li ，其中对应于概率p’的码字长记为l’，则 引理2 设C为某信源S的即时码，C1是码C的一个缩减码，则 C C1是最优码。 证明 把码C1所对应的缩减信源记为S1，并设S1中的信源符号s是由S中两个信源符号合并而成。再令被合并的两个信源符号的概率为p’与p’’。由前面的引理3， LC = LC1 + p’+ p’’ (1) (() 令D为S1的一个最优即时码，由前面的引理2，在S上存在D的扩展码D’，从而由引理3得 LD’ = LD+ p’+p’’ (2) 比较(1)与(2)，由C的最优性可得 LC1 ( LD，从而C1是最优码。 (() 令E为S的一个最优即时码，由前面的定理4，E是正规码，从而在S1上存在缩减码E1，再由引理3得 LE = LE1+ p’+p’’ (3) 比较(1)与(3)，由C1的最优性可得 LC ( LE ，从而C是最优码。 □ 定理 二元分组码C是最优分组码，当且仅当，其码树是二分杈的，且C的每次缩减码都是“概率匹配码”。 证明 推论 霍夫曼码是最优分组码。 讨论：同一个信源，不同分组的二元霍夫曼码相比较：分组长度越大，编码效率越高；编码效率随分组长度增加而增加，并趋向最大值1。 霍夫曼编码的不唯一性 例6-13 平均码长相同，但码长方差不同，选择码长方差较小的一个，可使编码时输出码符号的速度更平稳。 多元霍夫曼码 1）码树的构造方法类似于二元霍夫曼码的码树构造方法。 2）码元数越大，编码效率小。 应用：传真、卫星通信、MP3 程序设计2：构造二元霍夫曼码 输入：一个概率分布。 输出：该分布的熵。 变长分组码的缺点 （1）码长不同导致信源编码器不能匀速输出码元符号，因此不能直接与信道连接。解决办法是添加缓冲寄存器。 （2）存在差错扩散的问题。解决办法是使用纠错码提高数据的抗干扰能力。 （3）霍夫曼码的编译码都需要查找码本，码本太大的话，占用内存大且费时。因此，不能对太大的扩展信源进行编码。为进一步提高编码效率，需要改用非分组码，例如算术码、字典码。 （4）霍夫曼码属于概率匹配码，需要知道信源的统计特性，且不能适应信源概率变化。可改用具有自适应性的算术编码，或字典码。 算术码 仍设U为离散无记忆信源。 特点： 非分组码，全序列编码：是一个双射，可将任意长的信源序列