词典编码.pptVIP

词典编码 词典编码 以Huffman编码为代表的压缩模型都是基于对信息中单个字符出现频率的统计而设计的，直到 70 年代末期，这种思路在数据压缩领域一直占据着统治地位。 在我们今天看来，这种情形在某种程度上显得有些可笑，但事情就是这样，一旦某项技术在某一领域形成了惯例，人们就很难创造出在思路上与其大相径庭的哪怕是更简单更实用的技术来。 LZ算法 1977 年，Jacob Ziv 和 Abraham Lempel发表了论文《顺序数据压缩的一个通用算法》。1978 年，他们发表了该论文的续篇《通过可变比率编码的独立序列的压缩》。 这两篇论文提出的两个压缩技术被称为 LZ77 和 LZ78算法。它们的思路和字典法颇为相似，因此，人们将基于这一思路的编码方法称作字典式编码。字典式编码不但在压缩效果上大大超过了哈夫曼编码，而且，对于好的实现，其压缩和解压缩的速度也异常惊人。 词典编码 这两个以色列人在数据压缩领域做出了杰出贡献的，因为正是他们打破了Huffman 编码一统天下的格局，带给了我们既高效又简便的“字典模型”。 至今，几乎我们日常使用的所有通用压缩工具，象 WinZip，RAR……甚至许多硬件如网络设备中内置的压缩算法，无一例外，都可以最终归结为这两个以色列人的杰出贡献。 词典编码 说起来，字典模型的思路相当简单，我们日常生活中就经常在使用这种压缩思想。我们常常跟人说“奥运会”、“IBM”、“TCP”之类的词汇，说者和听者都明白它们指的是“奥林匹克运动会”、“国际商业机器公司”和“传输控制协议”，这实际就是信息的压缩。 我们之所以可以顺利使用这种压缩方式而不产生语义上的误解，是因为在说者和听者的心中都有一个事先定义好的缩略语字典，我们在对信息进行压缩（说）和解压缩（听）的过程中都对字典进行了查询操作。字典压缩模型正是基于这一思路设计实现的。 词典编码 最简单的情况是: 我们拥有一本预先定义好的字典。例如，我们要对一篇中文文章进行压缩，我们手中已经有一本《现代汉语词典》。那么，我们扫描要压缩的文章，并对其中的句子进行分词操作，对每一个独立的词语，我们在《现代汉语词典》查找它的出现位置，如果找到，我们就输出页码和该词在该页中的序号，如果没有找到，我们就输出一个新词。 这就是静态字典模型的基本算法了。 词典编码 你一定可以发现，静态字典模型并不是好的选择。首先，静态模型的适应性不强，我们必须为每类不同的信息建立不同的字典； 其次，对静态模型，我们必须维护信息量并不算小的字典，这一额外的信息量影响了最终的压缩效果。 所以，几乎所有通用的字典模型都使用了自适应的方式，也就是说，将已经编码过的信息作为字典，如果要编码的字符串曾经出现过，就输出该字符串的出现位置及长度，否则输出新的字符串。 词典编码 根据这一思路，你能从下面这幅图中读出其中包含的原始信息吗？ 基本思想是：构造一个字典，将信息中反复出现的字符串，登记为较短的字符串，解码时对这种字符串，通过查字典，转换为原字符串。 该算法的原理很简单，但要真正实现却很困难，因为它存在几个长期困扰着研究者的难点： 1、如何找到这些重复出现的字符串？ 2、如何找到尽量长的字符串被替代？ 3、怎样选用较短的字符串？如何区分原始信息中就已经存在的用于代替的字符串？ LZ算法 1977 年，Jacob Ziv 和 Abraham Lempel发表了论文《顺序数据压缩的一个通用算法》。1978 年，他们发表了该论文的续篇《通过可变比率编码的独立序列的压缩》。 这两篇论文提出的两个压缩技术被称为 LZ77 和 LZ78算法。它们的思路和字典法颇为相似，因此，人们将基于这一思路的编码方法称作字典式编码。字典式编码不但在压缩效果上大大超过了哈夫曼编码，而且，对于好的实现，其压缩和解压缩的速度也异常惊人。 LZ77算法 LZ77 算法又称为“滑动窗口压缩” ，如下图： LZ77 算法的基本流程 重复进行以下处理，直至所有数据处理完毕： 1、从当前压缩位置开始，考察未编码的数据，并试图在滑动窗口中找出最长的匹配字符串， 2、如果找到，输出三元符号组(off, len, c)，其中off为窗口中匹配字符串相对窗口边界的偏移，len为可匹配的长度，c为下一个字符；将窗口向后滑动len + 1个字符。 3、如果未找到，输出三元符号组(0, 0, c)，其中c为下一个字符；将窗口向后滑动 1个字符。 假设窗口的大小为 10 个字符，我们刚编码过的 10 个字符是：abcdbbccaa，即将编码的字符为：abaeaaabaee。 现在将窗口向后滑动3(2+1)个字符，窗口中的内容为：dbbccaaaba，剩余字符为eaaabaee，下一个字符 e 在窗口中没有匹配，我们输出三元组：(0, 0, e)。 又