第四章无损数据压缩.ppt

第4章 无损数据压缩 4.1 仙农-范诺与霍夫曼编码 4.2 算术编码 4.3 RLE编码 4.4 词典编码 第4章 无损数据压缩 数据压缩可分成两种类型，一种叫做无损压缩，另一种叫做有损压缩。 无损压缩是指使用压缩后的数据进行重构(或者叫做还原，解压缩)，重构后的数据与原来的数据完全相同 有损压缩是指使用压缩后的数据进行重构，重构后的数据与原来的数据有所不同 本章主要介绍目前用得最多和技术最成熟的无损压缩编码技术。 第4章 无损数据压缩 在数据压缩技术中,编码技术可分成三种类型: 熵编码：不考虑数据源的无损数据压缩技术,它把数据都看作“符号”，其核心思想是按照符号出现的概率大小给符号分配长度合适的代码。概率大的代码长度长，概率小的代码长度短。 源编码：编码时考虑数据信号源的特性和信号的内容。通常为有损编码技术。 混合编码：组合源编码和熵编码的数据有损压缩技术。 2.1 数据冗余 一、冗余的概念 数据能被压缩的依据是数据本身存在冗余。 冗余有： 人为冗余 视听冗余 数据冗余 2.1 数据冗余 二、决策量 在有限数目的互斥事件集合中，决策量是事件数的对数值，即 H0=log(n) 对数的底数决定决策量的单位，sh(2) 、Nat(e)、Hart(10)。 2.1 数据冗余 三、信息量 信息量是具有确定概率事件的信息的定量度量，定义为： I(x)=log2(1/p(x))=-log2p(x) 对一个等概率事件的集合，每个事件的信息量等于该集合的决策量。 2.1 数据冗余 四、熵 按照仙农(Shannon)的理论，信源S的熵定义为 其中pi是符号si在S中出现的概率；log(1/pi)表示包含在si中的信息量，H(s)为事件的信息量的平均值，也称为事件的平均信息量。 2.1 数据冗余 五、数据冗余量 数据的冗余量(R)定义为决策量(H0)超过熵的量，即为： R=H0-H(S) 4.1 仙农-范诺与霍夫曼编码 [例4.1] 有一幅40个像素组成的灰度图像，灰度共有5级，分别用符号A、B、C、D和E表示,各符号在图像中出现的数目见下表 4.1 仙农-范诺与霍夫曼编码 按照仙农理论，这幅图像的熵为 H(S) = (15/40) ? log2(40/15) + (7/40) ? log2(40/7) + ??? + (5/40) ? log2(40/5) =2.196即每个符号用2.196比特表示，40个像素需用87.84比特。  4.1 仙农-范诺与霍夫曼编码 仙农-范诺(Shannon- Fano)算法采用从上到下的方法进行编码。首先按照符号出现的频度或概率排序，例如A，B，C，D和E。然后使用递归方法分成两个部分，每一部分具有近似相同的次数，如图所示。按照这种方法进行编码得到的总比特数为91，实际的压缩比约为1.3 : 1。 4.1 仙农-范诺与霍夫曼编码 二、霍夫曼编码 霍夫曼(Huffman)则采用从下到上的编码方法，仍以刚才的例子说明它的编码步骤： ①初始化，根据符号概率的大小按由大到小顺序对符号进行排序 4.1 仙农-范诺与霍夫曼编码 ②把概率最小的两个符号组成一个节点，如P1。 ③重复步骤2，得到节点P2、P3和P4，形成一棵“树”。 ④从根节点P4开始到相应于每个符号的“树叶”，从上到下标上“0”(上枝)或者“1”(下枝) 。 ⑤从根节点P4开始顺着树枝 到每个叶子分别写出每个符 号的代码。 4.1 仙农-范诺与霍夫曼编码 ⑥按照仙农理论，这幅图像的熵为 H(S) = (15/39)?log2(39/15)+(7/39)?log2(39/7) + ??? + (5/39)?log2(39/5) = 2.1859压缩比1.37:1 Huffman编码需要各种代码意义的“词典”，即码簿，那么就可以根据码簿一个码一个码地依次进行译码。 4.1 仙农-范诺与霍夫曼编码 编码原理 —— 对出现频率高的信源编码长度短，而对出现频率低的信源编码长度长。其编码步骤如下： [1] 信号源的数据按照出现概率递减的顺序排列 [2] 合并两个最小出现概率，作为新数据出现概率 [3] 重复进行[1][2]，直至概率相加为1为止 [4] 合并运算时，概率大者取0，概率小者取1(或 相反） [5] 记录概率为1处到各信号源的0、1序列，则得 到相应的Huffman编码。 4.1 仙农-范诺与霍夫曼编码 4.2 算术编码