信息论与编码2016(第3章).ppt

算术编码原理 信源序列S=abda对应区间的划分过程图 译码——编码的逆过程 根据接收到的码字译出对应的信源序列 [译码步骤] (1) 判断码字落在哪个符号区间，译出第1个符号 (2) 将码字减去刚译出符号的左端点值，得差值 并以刚译出符号对应的区间长度去除差值 再判断此值落在哪个符号区间，译出第2个符号 (3)重复步骤(2)，直至全部信源序列被译完为止 第三章作业 一、思考题 1、如何理解无扰编码定理？ 2、算术编码的基本原理？ 3、LZ编码的特点有哪些？ 二、习题 1、求3.5题（P83）中信源的二元哈夫曼编码，并计算平均码长和编码效率。 2、求3.9题（P83）中信源的二元哈夫曼编码，并计算平均码长和编码效率。 3、3.12题（P84）： (a):对序列“1011”的进行算术编码，并计算编码效率； (b):对题中16位长序列进行LZ编码并计算编码效率。 0.75 a b c d 0 0.5 0.875 1 aa ab ac ad 0.25 0 0.375 0.5 aba abb abc abd 0.25 0.359 375 0.375 a b c d 0.359 375 0.367 187 5 0.375 不同的信源序列分别对应不同的互不重叠的小区间，取小区间内的一个点作为对应序列的编码。--------即时码 S=abda的编码 例: 下面对使用前面提到的4符号模型进行编码的一段信息进行解码。编码的结果是0.538(为了容易理解，这里使用十进制而不是二进制；我们也假设得到的结果的位数恰好够我们解码)。 类似于编码的过程，我们从区间[0,1)开始，使用相同的概率模型，将它分成四个子区间。 中性对应的区间是 [0, 0.6) 阳性对应的区间是 [0.6, 0.8) 阴性对应的区间是 [0.8, 0.9) 数据结束符对应的区间是 [0.9, 1) 算术编码的译码 分数0.538落在中性所在的子区间[0,0.6)；这表明编码器所读的第一个符号必然是中性，这样就可以将它作为消息的第一个符号记下来。 算术编码的译码 然后我们将区间[0,0.6)再分成四个子区间： 中性的区间是 [0, 0.36) -- [0, 0.6) 的 60% 阳性的区间是 [0.36, 0.48) -- [0, 0.6) 的 20% 阴性的区间是 [0.48, 0.54) -- [0, 0.6) 的 10% 数据结束符的区间是 [0.54, 0.6). -- [0, 0.6) 的 10% 分数0.538 在 [0.48, 0.54) 区间；所以消息的第二个符号一定是阴性。 算术编码的译码 再一次将当前区间划分成四个子区间： 中性 的区间是 [0.48, 0.516) 阳性 的区间是 [0.516, 0.528) 阴性 的区间是 [0.528, 0.534) 数据结束符的区间是 [0.534, 0.540). 分数 0.538 落在符号数据结束符的区间；所以，这一定是下一个符号。由于它也是内部的结束符号，这也就意味着编码已经结束。 算术编码的译码 §3.4 最佳不等长编码 算术编码的特点 特点一 当L很大时，平均码长接近信源熵H(U)，因此编码效率接近上限。 特点二 编译码简单，存储量小，速度快。 算术编码的应用领域 在图象数据压缩标准（如JPEG）中得到广泛应用。 1982 年， Rissanen 和 G. G. Langdon 一起改进了算术编码。之后，人们又将算术编码与 J. G. Cleary 和 I. H. Witten 于 1984 年提出的部分匹配预测模型（ PPM ）相结合，开发出了压缩效果近乎完美的算法。今天，那些名为 PPMC 、 PPMD 或 PPMZ 并号称压缩效果天下第一的通用压缩算法，实际上全都是这一思路的具体实现。 看起来，压缩技术的发展可以到此为止了。不幸的是，事情往往不像想象中的那样简单：算术编码虽然可以获得最短的编码长度，但其本身的复杂性也使得算术编码的任何具体实现在运行时都慢如蜗牛。即使在摩尔定律大行其道， CPU 速度日新月异的今天，算术编码程序的运行速度也很难满足日常应用的需求。如果不是后文将要提到的两个犹太人，我们还不知要到什么时候才能用上 WinZIP 这样方便实用的压缩工具呢。 词典编码方法 逆向思维永远是科学和技术领域里出奇制胜的法宝。就在大多数人绞尽脑汁想改进 Huffman 或算术编码，以获得一种兼顾了运行速度和压缩效果的“完美”编码的时候，两个聪明的犹太人 J. Ziv 和 A. Lempel 独辟蹊径，完全脱离 Huffman 及算术编码的设计思路，创造出了一系列比 Huffman 编