第五章 信源编码与编码定理.pptVIP

§5. 3 变长编码及变长编码定理 而平均每一个消息符号的平均码长为： §5. 3 变长编码及变长编码定理 四、变长编码定理(The variable-length coding theorem) ①.按消息符号的变长编码定理( Theorem to the source letters) 对于熵为H(S)的离散无记忆信源： 若用m进制下的码字符号对该信源 实现变长编码，则一定存在着一种唯一可分码，使其平均码长 满足： 反之，不满足上述不等式则一定会产生编码失真！ 反之，不满足上述不等式的平均序列码长 ，则一定会导致失真。 ②.按消息符号序列的变长编码定理(The Variable-Length Coding Theorem to Sequences of L Source Letters) §5. 3 变长编码及变长编码定理 五、某些常用的变长编码方法(Some V-L coding methods) (1). Shannon’s algorithm: Ⅰ. 把信源所给出的N个消息符号，按其概率递减顺序排列： Ⅱ. 计算第 i 个消息的累加概率；(Cumulative Probability) Ⅲ. 将累加概率转换成二进制数；如0.5=0.1(二); 0.25=0.01 (二) Ⅳ. 按Shannon’s 公式 求出每一个码字的长度 ； Ⅴ. 根据 取二进制的累加概率小数点之后的 位作为Shannon’s 码字。 §5. 3 变长编码及变长编码定理 例5－5. Shannon 变长码 11110 5 .111101 0.96 0.04 11101 5 .111010 0.91 0.05 11011 5 .110110 0.85 0.06 1100 4 .110000 0.78 0.07 1010 4 .10101 0.68 0.1 1001 4 .10010 0.58 0.1 011 3 .01100 0.4 0.18 00 2 .00000 0 0.4 codeword ki (二) Pi Si §5. 3 变长编码及变长编码定理 (2). 最佳变长码字——Huffman’s algorithm 在概率已知的前提下，可以证明Huffman 方法是最佳编码法， 因为目前还没有一种变长编码方法可以超出Huffman 方法的编码 效率。所以最佳变长码字就是 Huffman codeword. 下面给出二元 Huffman 变长编码的编码步骤： §5. 3 变长编码及变长编码定理 2o. 对概率最小的两个消息符号分别分配码字符号“1”和 “0”,分配原则应保持一致,如概率大的事件都是“1”。 3o. 将最小的两个消息概率相加并且以相加后的概率之和重新参加概率排队； 4o. 重复上述步骤(2o, 3o); 直至概率之和为1； 5o. 从树根开始顺序地依次取出Huffman码字。 下面以前题为例，按Huffman编码步骤完成二元最佳 变长编码： 例5-6. 二元Huffman编码方法图示： 1o. 把N个消息符号按其概率递减的顺序排列； 0 1 0.37 0.6 0 1 1 0 1.0 = root §5. 3 变长编码及变长编码定理 0.18 0.04 0.05 0.06 0.07 0.1 0.1 0.4 0 1 0.09 0 1 0.13 0 1 0.19 0.23 1 0 Huffman’s codes 1 001 011 0000 0100 0101 00010 00011 §5. 3 变长编码及变长编码定理 0 0 0 0 0 0 0 1 1 1 1 1 1 1 显然从码树中可以看出Huffman码字一定是最佳变长码，而且编码法则简单易行。 §5. 3 变长编码及变长编码定理 定理：在已知概率的前提下，利用Huffman 编码方法所编制出 的变长码字，其编码效率一定是最优；即平均码长最短。 证明： 按Huffman 编码法则1°. 则, 且，设 （根据变长编码原则） 如果，将已编出的任意两个码字与所对应的消息符号互换， 而其余则不变，即： §5. 3 变长编码及变长编码定理 显然，当随意改动Huffman码字时，都将使得平均码长增加 , 最好情况下，最多不变； 即以上等号成立的条件。