第五讲 无损数据压缩.pptVIP

第四章 数据压缩技术 压缩编码分类（信息） 无损压缩 指使用压缩后的数据进行重构(或者叫做还原，解压缩)，重构后的数据与原来的数据完全相同。 无损压缩算法一般压缩比2～4。 常用的无损压缩算法有霍夫曼(Huffman)算法和LZW(Lenpel-Ziv Welch)压缩算法。 有损压缩 指使用压缩后的数据进行重构，重构后的数据与原来的数据有所不同，但不影响人对原始资料表达的信息造成误解。 图像和声音的压缩就可以采用有损压缩，因为其中包含的数据往往多于我们的视觉系统和听觉系统所能接收的信息，丢掉一些数据而不至于对声音或者图像所表达的意思产生误解，但可大大提高压缩比。 压缩技术分类 压缩技术的应用 压缩编码分类（原理） 预测编码：PCM，DPCM，DM，LPC 统计编码：huffman，shannon，REL，词典编码 模型编码 变换编码 子带编码 压缩编码分类（长度） 等长编码 ASCII编码 不等长编码 编码长度是不等长的 常见编码如Huffman编码 等长与不等长编码 例如：符号序列x=“aa bb cccc dddd 　　　　　　　　 eeeeeeee 采用ASCII编码： abcde空等长与不等长编码 不等长编码方法 字符 次数 概率 码字 字长 E 8 1/3 0 1 D 4 1/6 100 3 C 4 1/6 101 3 空 4 1/6 110 3 A 2 1/12 1110 4 B 2 1/12 1111 4 不等长码唯一性问题 字符 码1 码2 码3 A 0 0 0 B 10 10 01 C 110 11 011 D 1110 01 111 压缩技术起源 信息论 D.A.Huffman 接近极限——熵 以色列人 LZW算法 通用数据压缩 多媒体数据压缩 无损压缩模型 信息熵及基本概念 1．信息量 信息量是指从N个相等的可能事件中选出一个事件所需要的信息度量或含量，也就是在辨识N个事件中特定的一个事件的过程中所需要提问“是或否”的最少次数。 设从N个数中选定任一个数xj的概率为p（xj），假定选定任意一个数的概率都相等，即p（ xj ）＝1/N，因此定义其信息量为: 信息熵 熵——来源于40年代由Claude Shannon创立的信息论中的一条定理，这一定理借用了热力学中的名词“熵”( Entropy )来表示一条信息中真正需要编码的信息量。 信源S发出的xj（j=1,2,…,n）共n个随机事件的自信息统计平均，即 平均码长与熵关系 在编码中用熵值来衡量是否为最佳编码。若以Lc表示编码器输出码字的平均码长，则当 Lc≥H(S) 有冗余，不是最佳。 Lc＜H(S) 不可能。 Lc＝H(S) 最佳编码（Lc稍大于H(S)）。 熵值为平均码长Lc的下限。 熵的计算范例 统计编码（熵） 统计编码是根据消息出现概率的分布特性而进行的压缩编码 在消息和码字间找到明确的一一对应关系，以便恢复时能准确无误再现出来 技术准备：编码 技术准备：压缩=模型+编码 Shannon-Fano编码 采用从上到下的方法进行编码。 仙农-范诺(Shannon- Fano)算法： 首先按照符号出现的频度或概率排序， 使用递归方法分成两个部分，每一部分具有近似相同的次数（概率） 当概率和为1，进行编码 Shannon-Fano编码例１ 有一幅40个象素组成的灰度图像，灰度共有5级，分别用符号A、B、C、D和E表示，40个象素中出现灰度A的象素数有15个，出现灰度B的象素数有7个，出现灰度C的象素数有7个等等。如果用3个位表示5个等级的灰度值，也就是每个象素用3位表示，编码这幅图像总共需要120位。 Shannon-Fano编码例１ Shannon-Fano编码例２ Huffman编码 依据信源字符出现的概率大小来构造代码，对出现概率较大的信源字符，给予较短码长，而对于出现概率较小的信源字符，给予较长的码长，最后使得编码的平均码字最短。 例4-1：设输入图像的灰度级{a1,a2,a3,a4,a5,a6}出现的概率分别是0.4、0.2、0.12、0.15、0.1、0.03。试进行哈夫曼编码，并计算编码效率、压缩比、冗余度。 由公式可求得图像信源熵是： H(X)= =-（0.4×log20.4+0.2×log20.2+0.12×log20.12+ 0.15×log20.15+0.1×log20.1+0.03×log20.03） =2.25 bit Huffman编码 整数位编码与信息