02_数据无损压缩.pptVIP

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 符号 出现的次数 log2(1/pi） 分配的代码 需要的位数 B 10 1.585 11 20 A 8 1.907 10 16 C 3 3.322 010 9 D 4 2.907 011 12 E 5 2.585 00 10 合计 30 1.0 67 * 第2章 数据无损压缩 * of 42 2.2.2 霍夫曼编码— Case Study 1 (续4) 30个字符组成的字符串需要67位 5个符号的代码 2.2.2 霍夫曼编码— Case Study 1 (续5) * 第2章 数据无损压缩 * of 42 (2) 计算该字符串的熵 其中， 是事件 的集合， 并满足 H(S) =(8/30)×log2(30/8) + (10/30)×log2(30/10) + (3/30)×log2(30/3) + (4/30)×log2(30/4) + (5/30)×log2(30/5) = [30lg30 – (8×lg8 ＋ 10×lg10 ＋ 3×lg3 ＋ 4 ×lg4 ＋5 lg5)] / (30×log22) = ( 44.3136－24.5592)/ 9.0308 ＝ 2.1874 (Sh) (3) 计算该字符串的平均码长 平均码长：  ＝(2×8＋2×10＋3×3＋3×4＋2×5)/30 ＝2.233 位/符号 * 第2章 数据无损压缩 * of 42 2.2.2 霍夫曼编码— Case Study 1 (续6) 压缩比: 90/67=1.34:1 平均码长：67/30=2.233位 (4) 计算编码前后的压缩比 编码前：5个符号需3位，30个字符，需要90位 编码后：共67位 霍夫曼编码举例2 编码前 N = 8 symbols: {a,b,c,d,e,f,g,h}, 3 bits per symbol (N =23=8) P(a) = 0.01, P(b)=0.02, P(c)=0.05, P(d)=0.09, P(e)=0.18, P(f)=0.2, P(g)=0.2, P(h)=0.25 计算 (1) 该字符串的霍夫曼码 (2) 该字符串的熵 (3) 该字符串的平均码长 (4) 编码效率 * 第2章 数据无损压缩 * of 42 2.2.2 霍夫曼编码— Case Study 2 2.2.2 霍夫曼编码— Case Study 2 (续1) * 第2章 数据无损压缩 * of 42 Average length per symbol (before coding): * 第2章 数据无损压缩 * of 42 2.2.2 霍夫曼编码— Case Study 2 (续2) (2) Entropy: (3) Average length per symbol (with Huffman coding): (4) Efficiency of the code: 算术编码(arithmetic coding) 给已知统计信息的符号分配代码的数据无损压缩技术 基本思想是用0和1之间的一个数值范围表示输入流中的一个字符，而不是给输入流中的每个字符分别指定一个码字 实质上是为整个输入字符流分配一个“码字”，因此它的编码效率可接近于熵 * 第2章 数据无损压缩 * of 42 2.2.3 统计编码——算术编码 [例2.3]（取自教材） 假设信源符号为{00, 01, 10, 11}，它们的概率分别为{ 0.1, 0.4, 0.2, 0.3 } 对二进制消息序列10 00 11 00 10 11 01 … 进行算术编码 * 第2章 数据无损压缩 * of 42 2.2.3 算术编码举例 2.2.3 算术编码举例(续1) 符号 00 01 10 11 概率 0.1 0.4 0.2 0.3 初始编码间隔 [0, 0.1) [0.1, 0.5) [0.5, 0.7) [0.7, 1] * 第2章 数据无损压缩 * of 42 表2-4 例2.3的信源符号概率和初始编码间隔 初始化 根据信源符号的概率把间隔[0, 1)分成如表2-4所示的4个子间隔：[0, 0.1), [0.1, 0.5), [0.5, 0.7), [0.7, 1)。其中[x, y)的表示半开放间隔，即包含x不包含y，x称为低边界或左边界，y