信息论基础——信源编码.ppt

数据压缩和信源编码 3.1 等长码 3.2 变长编码 3.3 哈夫曼码 3.4 算术码 香农-费诺码 3.5 通用信源编码 LZW算法 习题三 0.概述 是第一个能够找到的好的变长码. 原则：按照符号出现的概率从大到小排序，然后将 其分成两个出现概率相同或几乎相同的子集—一个 子集的编码均以0打头，另一个子集的编码均以1打 头；然后把每个子集再分成两个更小的子集，同样 确定所有码字的第二位，依次循环. 0.概述 平均码长：0.25×2+0.20×2+0.15×3+0.15×3+0.10×3+ 0.10×4+0.05×4=2.7 bits/symbol. 熵：-（0.25log0.25+0.20log0.20+0.15log0.15+0.15log 0.15+0.10log0.10+0.10log0.10+0.05log0.05≈2.67. 这是一个较好的结果！ 1.基本思路 用二进制小数表示信源的概率分布，如果 概率分布取值大，则它的二进制位数就低； 另外，为了使算术码具有前缀性（无尾随后 缀），对概率分布采用累计求和计算. 2.编码方法 1）将信源符号X={a1,a2,……,aq}依次排列（不要求以概率 大小排序）； 2）计算各符号的修正累积分函数值 3）确定各信源符号所对应码字的码长 4）将F(ak)表示为二进制小数，并用小数点后的l(ak) 位作为ak的码字. 若后面有尾数，要进位 例1：若信源的概率分布为 ，取信 号字母表为 ，求信源的算术码. 例1：若信源的概率分布为 ，取信 号字母表为 ，求信源的算术码. 例1：若信源的概率分布为 ，取信 号字母表为 ，求信源的算术码. 思考（一）： 用Shannon-Fano-Elias码方法将信源 编成二元变长唯一可译码，并计算其码率. 思考（二）： 有两个信源X和Y如下： 1)分别用霍夫曼码编成二元变长惟一可译码，并计算其编码效率。 *)用Shannon-Fano码编成二元变长惟一可译码 思考（二）： 有两个信源X和Y如下： 2)分别用Shannon-Fano-Elias编码法编成二元变长惟一可泽码．并计算编码效率. 3)从X，Y两种不同信源来比较这三种编码方法的优缺点 思考（二）： 信源X的二元霍夫曼编码： 思考（二）： 信源X的二元霍夫曼编码： 其平均码长 编码效率 思考（二）： 信源Y的二元霍夫曼编码： 思考（二）： 信源Y的二元霍夫曼编码： 其平均码长 编码效率 思考（二）： 信源X的Shannon-Fano编码： 思考（二）： 信源X的Shannon-Fano编码： 其平均码长 编码效率 思考（二）： 信源Y的Shannon-Fano码： 思考（二）： 信源Y的Shannon-Fano码： 其平均码长 编码效率 思考（二）： 信源X的Shannon-Fano-Elias编码： 其平均码长 编码效率 思考（二）： 信源Y的Shannon-Fano-Elias码： 其平均码长 编码效率 思考（二）： 从信源X和Y的三种不同编码方法可以看出：Huffman编码所得平均码长最短，编码效率最高；Shannon-Fano-Elias编码所得平均码长最长，其编码效率最差；而Shannon-Fano码居中。 Huffman码其编码时短码得到充分利用，而且一定是概率大的信源符号对应于短码， 概率小的信源符号对应于长码：所以，其 平均码长最短。 Shannon-Fano-Elias编码方法虽然概率大的符号其码长短，概率小的符号其码长长，但它短码没有被充分利用。所以，其平均 码长增大。 Shannon-Fano码也是一种较好的编码方法．如信源Y的Shannon-Fano码与Huffman码的编码效率一样好。而信源X的Shannon-Fano码的编码效率比其Huffman码的编码效率降低极少。这是因为信源Y在Shannon-Fano码编程过程中分两大组时“概率和”相差不多(为0.49与0.51)：而信源X在编码过程中每次分两组时，其“概率和”相差较远(第一次为0.57和0.43；第二次上面分组为0.2和