第二章 无失真信源编码Huffman编码.pptVIP

2.3 霍夫曼码及其他编码方法 一、霍夫曼码 二、费诺编码 三、香农-费诺-埃利斯码 一、Huffman编码 1．二元Huffman编码 例2． 1．二元Huffman编码 码2 二元Huffman码的特点： 2．m元Huffman编码 * * ④?分配码元。 步骤： ①?递减排序；S=[s1，s2，…，sq] ②?合并概率最小的两个符号; ③?重复①②，直至缩减信源中只有两个符号为止； 例1: 已知离散无记忆信源如下所示，对应的霍夫曼编码为： 0.125 u4 0.125 u3 0.25 u2 0.5 u1 符号概率 P(ui) 消息符号 ui 0.25 0.5 1.0 0 1 0 1 0 1 1 1 11 11 111 3 110 3 10 2 0 1 码字 码长 信息熵： 平均码长： 编码效率： 编码不唯一 （0、1分配不同，排序不同） 消息符号 si 消息概率 P(si) s1 0.20 s2 0.19 s3 0.18 s4 0.17 s5 0.15 s6 0.10 s7 0.01 0 1 0 1 0 0 0 1 0 1 0 1 0 1 4 4 3 3 3 2 2 码长 0111 0110 010 001 000 11 10 码字 1 1 00 00 01 01 011 011 平均码长唯一 一、Huffman编码 码长方差： 1．二元Huffman编码 （例2） 0.1 S5 0.1 S4 0.2 S3 0.2 S2 0.4 S1 概率 P(Si) 源符 Si 0 1 00 01 000 001 0010 0011 0 1 00 10 11 010 011 01 一、Huffman编码 ※ ※ 每次缩减信源的最后两个码字总是最后一位不同（前面各位相同） 1．二元Huffman编码 ——惟一可译 一、Huffman编码 n=(m－1)Q+m （对于二元编码，n=Q+m） ※?为使短码充分利用， ，要求最后信源有m个符号 “合m为一，一分为m” 消息数目 缩减次数 一、Huffman编码 2．m元Huffman编码 一、Huffman编码 2．m元Huffman编码 步骤： 验证n是否满足n=(m-1)Q+m，若不满足，可以人为地增加一些概率为零的符号，使最后一步有m个信源符号； 取概率最小的m个符号合并成一个新结点，并分别用0，1，…，（m+1）给各分支赋值，把这些符号的概率相加作为该新结点的概率； 将新结点和剩下结点重新排队，重复步骤2； 取树根到叶子（信源符号对应结点）的各树枝上的赋值，得到各符号码字。 　解：n=5,若取m =3 ∴需加入两个填充符号 有5=2Q+3 n=(m－1)Q+m 一、Huffman编码 例3．三元Huffman编码 若取m=4 有5=3Q+4 取5+2=3Q+4 2．m元Huffman编码过程 一、Huffman编码 0.05 u5 0.05 u4 0.2 u3 0.3 u2 0.4 u1 符号概率 P(ui) 消息符号 ui 0 1 2 0 1 2 0.3 0 码字 1 20 21 22 码长 1 1 2 2 2 2．m元Huffman编码过程 一、Huffman编码 0 u7 0 u6 0.05 u5 0.05 u4 0.2 u3 0.3 u2 0.4 u1 符号概率 P(ui) 消息符号 ui 0 1 2 3 0 1 2 3 0.1 码字 0 1 2 30 31 32 33 码长 1 1 1 2 2 2 2 一、Huffman编码 H(U)=1.95bit 编码效率： 2．r元Huffman编码过程 一般情况下，信源符号集的数目应远大于码元数。 定理 在变长编码中，如果码字长度严格按照所对应符号的出现概率逆序排列，则其平均码长为最小。 3．Huffman码的最佳性 码字长度与出现概率逆序排列； 每次缩减信源的最后r个码字末位不同。 一、Huffman编码 费诺（Fano）编码（即时码） 二、费诺（Fano）编码 1. 递减排列; 2. 等概分组 P(A)≈P(B); 3. 每个子集以符号“0”或“1”标识。 方法：等概分割 步骤： 费诺编码属于统计匹配编码，但它不是最佳的编码方法