信息论算术编码和LZ编码.pptVIP

算术编码与LZ编码;算术编码; 从整个符号序列出发，根据各信源序列的概率将信源序列映射到[0,1) 区间上，然后选取区间内的一点（也就是一个二进制的小数）来表示信源序列。; 设信源符号集A={a1,a2,…,an}, 其相应概率分布为pi, pi 0 (i=1,2, …,n), 定义信源符号的累积概率（分布函数）为; 当A={0,1}二元信源时，P1=P(0)= 0 ; P2 = P(1)= p0;若S后面接0;P(0);;; 通过信源符号序列累积概率计算,把区间分割成许多小区间,不同的信源符号序列对应不同的区间为[P(S), P(S) + p(S)) ，可取小区间内的一点来代表这序列。 将符号序列的累积概率写成二进位小数，取小数点后L位,若后面有尾数,就进位到第L位，即 ;算术编码的唯一可译性;设二元无记忆信源S={0,1},p(0)=1/4,p(1)=3/4。 S对其做算术编码。;+;设无记忆信源U={a1,a2,a3,a4}，其概率分布依次为 0.5,0.25,0.125,0.125，对信源序列 做算术编码。;;由算术编码递推表得C = 0. 10000 ， 从而U的码字为100 ;P(0);对二元算术码而言，其译码过程是一系列比较过程： 每一步比较 与 ，这里 为前面已译出的 序列串， 是序列串 对应的宽度， 是序列 的累 积概率值，即为 对应区间的下界限， 是此区间 内下一个输入为符号“0”所占的子区间宽度。 译码规则为： 若 ＜ ，则译输出符号为“0”； 若 ＞ ，则译输出符号为“1”。;算术编码的编码效率很高，当信源符号序列很长时，L很大时，平均码长接近信源熵。 从性能上来看，算术编码具有许多优点，它所需的参数较少、编码效率高、编译码简单，不象哈夫曼码那样需要一个很大的码表。 算术编码在图像数据压缩标准（如JPEG）中得到广泛的应用。;算术编码要注意的一些问题 计算精度 随着递推过程的延续，P(u)和F(u)的小数位数也将逐步增加，若不能随时输出和加以截断，运算器将难以容纳。但有所截断必然降低精度，而精度不够会影响译码的正确性。 存储器容量 编成的码字S的长度也是随序列u的长度增加而不断增长。若不及时输出，存储量将非常大。但若输出过早，运算过程中可能还需调整已??输出的部分，那就来不及了。;计算复杂性 每次递归运算都有乘法， P(ak)小数位数影响计算复杂度。在算术编码中使用的概率P(ak)不一定完全等于真实的概率分布，只要设定的分布近似于真实分布就很有效。 自适应算术编码 在实际应用中，可以在编码过程中根据输入的信源序列自适应估计信源的分布，因此可以对任意概率分布的信源（包含有记忆）进行编码。 上述问题现已解决，算术编码已进入实用。;两位以色列研究者J. Ziv和A. Lempel独辟蹊径，完全脱离Huffman及算术编码的设计思路，创造出了一系列比Huffman编码更有效，比算术编码更快捷的通用压缩算法——LZ算法。;Ziv和Lempel于1977年提出了LZ77算法。1978年，二人又提出了改进算法，后被命名为LZ78。1984年，T. A. Welch提出了LZ78算法的一个变种，即LZW算法。1990年后，T. C. Bell等人又陆续提出了许多LZ系列算法的变体或改进版本。 LZ系列算法用一种巧妙的方式将字典技术应用于通用数据压缩领域，而且，可以从理论上证明LZ 系列算法同样可以逼近信息熵的极限. 下面我们主要介绍LZ78算法。;设输入信源符号序列为;开始时，先取一个符号作为第一段，然后再继续分段。若出现有与前面相同符号时，就再取紧跟后面的一个符号一起组成一个段，以使与前面的段不同。 这些分段构成字典。 当字典达到一定大小后，再分段时就应查看有否与字典中的短语相同，若有重复就添加符号后再查看，直至与字典中短语不同为止。 由分段规则可见，字典中每一段都是前面某一段后加一个符号。; 段号i 和符号序号r 的表示 由于rK，这两个数也可以用一个数Nj来表示，即 Nj=i K+ r. 从Nj很容易恢复i和r，即用K除Nj ，所得余数就是r，商为i。 把Nj表示成二进制数，即得二进码。 单符号的码字段号为0。 ; 计算对Nj编码时所需的比特数 注意到K, i, j, r等都是整数，并设ji，则 所以，对Nj编码所需的比特数为 由上式可见，各段所需的比特数是不