霍夫曼码、算术码与LZW码.docxVIP

霍夫曼码1952年霍夫曼(Huffman)提出的，是历史记录中第一个最优即时码。二元霍夫曼码的构造方法：根据信源符号的概率自底向上地构造码树，步骤如下：将信源U的n个符号ui按概率p(ui)从大到小排列，构成码树的叶节点。将两个最小的概率值相加，构成二者的父节点。将所有没有父节点的概率值按从大到小重新排列。重复（2）与（3）直到根节点出现，即步骤（2）中两个概率值相加=1.例6-11 0.5， 0.25， 0.125， 0.125解：1）画出码树包括各节点对应的概率值。2）平均码长：编码效率：信源熵（信源的信息传输率）：信源的相对熵率（信源的信息传输效率）：二分组霍夫曼码例6-12 0.7，0.3结论：对于“小消息信源”，必须用分组长度较大的霍夫曼码，才能获得较大的编码效率与较好的压缩效果。这是提高编码效率的重要途径。最优分组码定义1. 令S为一离散信源，用一个新符号取代S中两个概率最小的信源符号，并把这两个最小概率合并为该新符号的概率，而其它信源符号及其概率不变，所得的信源S(1)称为信源S的（一次）缩减信源，并称S为S(1)的扩展信源。n-步缩减信源S(n). 2.令C是信源S的一个即时码，其中有两个码字w’与w’’长度最大且相等，用其最大真前缀替换C中的w’与w’’所得的即时码C(1)称为C的（一次）缩减码，并称C为C(1)的扩展码。与n-步缩减码分别记为和Cn。显然，信源每缩减一次，其符号总数减1；即时码每缩减一次其码字总数减1.引理1 令C为即时码，C(1)是码C的一个缩减码，则两个码的平均码长之间有如下关系： LC = L C(1) + p’+p’’其中p’与p’’分别是C中被合并的两个码字的概率。证明设S有q个符号，概率分别为pi，码C中对应的码字长为li，其中对应于概率p’的码字长记为l’，则引理2 设C为某信源S的即时码，C1是码C的一个缩减码，则C是最优码 C1是最优码。证明把码C1所对应的缩减信源记为S1，并设S1中的信源符号s是由S中两个信源符号合并而成。再令被合并的两个信源符号的概率为p’与p’’。由前面的引理3， LC = LC1 + p’+ p’’ (1)() 令D为S1的一个最优即时码，由前面的引理2，在S上存在D的扩展码D’，从而由引理3得 LD’ = LD+ p’+p’’ (2)比较(1)与(2)，由C的最优性可得LC1 LD，从而C1是最优码。() 令E为S的一个最优即时码，由前面的定理4，E是正规码，从而在S1上存在缩减码E1，再由引理3得 LE= LE1+ p’+p’’ (3)比较(1)与(3)，由C1的最优性可得LC LE ，从而C是最优码。□定理二元分组码C是最优分组码，当且仅当，其码树是二分杈的，且C的每次缩减码都是“概率匹配码”。证明推论霍夫曼码是最优分组码。讨论：同一个信源，不同分组的二元霍夫曼码相比较：分组长度越大，编码效率越高；编码效率随分组长度增加而增加，并趋向最大值1。霍夫曼编码的不唯一性例6-13 平均码长相同，但码长方差不同，选择码长方差较小的一个，可使编码时输出码符号的速度更平稳。多元霍夫曼码1）码树的构造方法类似于二元霍夫曼码的码树构造方法。2）码元数越大，编码效率小。应用：传真、卫星通信、MP3程序设计2：构造二元霍夫曼码输入：一个概率分布。输出：该分布的熵。变长分组码的缺点（1）码长不同导致信源编码器不能匀速输出码元符号，因此不能直接与信道连接。解决办法是添加缓冲寄存器。（2）存在差错扩散的问题。解决办法是使用纠错码提高数据的抗干扰能力。（3）霍夫曼码的编译码都需要查找码本，码本太大的话，占用内存大且费时。因此，不能对太大的扩展信源进行编码。为进一步提高编码效率，需要改用非分组码，例如算术码、字典码。（4）霍夫曼码属于概率匹配码，需要知道信源的统计特性，且不能适应信源概率变化。可改用具有自适应性的算术编码，或字典码。算术码仍设U为离散无记忆信源。特点：非分组码，全序列编码：是一个双射，可将任意长的信源序列编码为“一个”码字。用信源序列S的累积概率F(S)的一个近似值作为S的码字，该近似值的长度由S的自信息量或概率p(S)确定。累积概率注意，累积概率值中不含p(S)。递推公式：(用树图说明)累积概率区间长度相同的信源序列的累积概率有如下关系：将单位区间[0,1]划分为若干不相交的小区间：称为序列S的累积概率区间。用树图说明各累积概率区间的包含与不相交关系。编码方法基本思想：计算信源序列S的“累积概率”F(S)；计算S的