信息论（宿菲）信息论-编码.pptVIP

Company Logo LOGO 5.4变长码的编码方法 宿菲 费诺编码 Fano 霍夫曼编码 Huffman 香农编码 Shannon 香农编码（Shannon coding） 1.信源的q个消息概率从大到小排序 2.计算各个信源符号的累加概率 3.计算第i个消息的码长 4.将累加概率 变换成二进制小数。 根据码长 取小数点后 个二进制符号 作为第i个消息的码字 信源符号si 概率平p（si） 累加概率F（si） 码长li 二元码 S1 S2 S3 S4 S5 S6 S7 0.20 0.19 0.18 0.17 0.15 0.10 0.01 0 0.2 0.39 0.57 0.74 0.89 0.99 2.34 2.41 2.48 2.56 2.74 3.34 6.66 3 3 3 3 3 4 7 000 001 011 100 101 1110 1111110 信源符号si及概率 s1 s2 s3 s4 s5 s6 s7 0.21 0.19 0.17 0.16 0.15 0.10 0.02 Huffman于1952年提出了这种方法，开始主要用于电报报文的编码，常用的英文字母E，T应该如何编码，不常用的应该如何编码，这样编下来使报文最短。 它的基本原理是频繁使用的数据用较短的代码代替，较少使用的数据用较长的代码代替，每个数据的代码各不相同。 Company Logo 霍夫曼编码（Huffman coding） 信源的q个消息概率从大到小排序。 0，1码分别代表概率最小的两个信源符号，并将这两个概率最小的信源符号合并成一个，从而得到只包括q-1个符号的新信源。 将新信源仍按概率从大到小排序，再将最后两个概率最小的信源符号分别用0和1码符号表示，合并成一个新符号，这样形成了q-2个符号的新信源。 依次继续下去，直至信源最后只剩下两个信源符号为止。将这最后两个信源符号用0和1表示。 从最后一级缩减信源开始，进行回溯。 Company Logo 信源符号si及概率 s1 s2 s3 s4 s5 s6 s7 0.21 0.19 0.17 0.16 0.15 0.10 0.02 霍夫曼码是即时码？树图 费诺编码（Fano coding） 1.信源的q个消息概率从大到小排序。 信源符号si 概率平p（si） 第一次分组 第二次分组 第三次分组 第四次分组 S1 S2 S3 S4 S5 S6 S7 0.20 0.19 0.18 0.17 0.15 0.10 0.01 0 1 0 1 0 1 0 1 0 1 0 1 2.将依次排列的信源符号以概率分为两组，使两组的概率和基本相等。并赋予符号0和1 3.再分组，使划分后的两组的概率和基本相等，并赋予符号0和1。 4.重复，直至每组只剩下一个信源符号为止。 信源符号si及概率 s1 s2 s3 s4 s5 s6 s7 0.21 0.19 0.17 0.16 0.15 0.10 0.02 霍夫曼编码（Huffman coding） 霍夫曼码是即时码 两个特点： （1）保证了概率大的信源符号对应的码长小，概率小的信源符号对应的码长大，充分利用了短码； （2）每次缩减信源的最长两个码字有相同的码长，最后一位码符号不同。（码长相差的小） 编码最短，传输效率最高 实用的无失真编码方法 1.游程编码（REL,REC） 应用于：BMP TIF AVI a b a c c c b b a a a a 2.LZW码 应用于：GIF ZIP ARC 3.算术编码 应用于：JPEG2000 lzw码 Company Logo LOGO