信息论——基础理论与应用（第5版）课件 【ch08】无失真的信源编码.pdfVIP

高等学校电子信息类精品教材 第八章 无失真得信源编码 信息论——基础理论与应用 》》》 01 霍夫曼 (Huffman)码 》 一、霍夫曼(Huffman)码 01二元霍夫曼码 1952年霍夫曼提出了一种构造最佳码的方法称为霍夫曼码。霍夫曼码适用于多元独立 信源对于多元独立信源来说它是最佳码。它充分利用了信源概率分布的特性进行编码，是 一种最佳的逐个符号的编码方法。 下面首先给出二元霍夫曼码的编码方法它的编码步骤如下： (1)将q个信源符号按概率分布P(s?)的大小，以递减次序排列起来，设 P?≥P?≥p?≥…≥P, (2)用0和1码符号分别分配给概率最小的两个信源符号并将这两个概率最小的信源符 号合并成一个新符号，并用这两个最小概率之和作为新符号的概率，从而得到只包含g-1个符 号的新信源称为S信源的缩减信源S?。 ●一、霍夫曼(Huffman)码 01二元霍夫曼码 (3)把缩减信源S?的符号仍按概率大小以递减次序排列，再将其最后两个概率最小 的符号合并成一个新符号，并分别用0和1码符号表示，这样又形成了q-2个符号的缩减信 源S?。 (4)依次继续下去直至缩减信源最后只剩两个符号为止。将这最后两个符号分别用 0和1码符号表示。最后这两个符号的概率之和必为1。然后从最后一级缩减信源开始依编 码路径由后向前返回就得出各信源符号所对应的码符号序列即得对应的码字。 一、霍夫曼(Huffman)码 02r元霍夫曼码 为了使短码得到充分利用，,使平均码长为最短，必须使最后一步的缩减信源有r个信源符 号。因此对于r元编码，信源S的符号个数q必须满足 q=(r-1)0+r (8.4) 式中，θ表示缩减的次数，(r-1)为每次缩减所减少的信源符号个数。对于二元码(r=2), 信源符号个数q必须满足 q=0+2 可见对于二元码，q等于任意正整数时，总能找到一个θ满足式(8.5)。而对于r元码，q为 任意正整数时不一定能找到一个θ使式(8.4)满足。若q不满足式(8.4)时，不妨虚设个信源符号 5q+1,5+2,**,5+ 并使它们对应的概率为零，即 P:=Pq?=…=Pm=0 此时，使q+t能满足式(8.4)。这样得到的r元霍夫曼码一定是紧致码。 一、霍夫曼(Huffman)码 03霍夫曼码得最佳性 所谓最佳性，就是指对于某个给定信源，在所有可能的唯一可译码中，此码的平均码长 为最短，并称此码为最佳码或紧致码。 定理8.1对于给定分布的任何信源，存在一个最佳二元即时码(其平均码长最短)此码满足 以下性质： (1)若p;Pk,则L≤lx。 (2)两个最小概率的信源符号所对应的码字必具有相同的码长。 (3)两个最小概率的信源符号所对应的码字，其除最后一位码元不同外，前面各位码元 都相同。 定理8.2二元霍夫曼码一定是最佳即时码。即若C是霍夫曼码，C是任意其他即时码则有 L(C)≤Z(C) (8.11) 02 费诺(Fano)码 》》》》》 二、费诺(Fano)码 费诺编码方法属于概率匹配编码。这种编码方法稍不同于前述的霍夫曼编码法，它不是 最佳的编码方法，但有时也可得到最佳码的性能。二元费诺码的编码步骤如下： 首先，将信源符号以概率递减的次序排列起来