《信息论与编码基础》第7章 无失真的信源编码.pptVIP

信息论与编码基础 第七章 无失真的信源编码 信息科学与技术学院 计算机科学系 蔡国扬 isscgy@mail.sysu.edu.cn 第七章 无失真的信源编码 本章主要内容 无失真信源编码的概念 香农编码 费诺编码 Huffman编码 游程编码 算术编码 通用编码 第七章 无失真的信源编码 信源编码可分为无失真和限失真两大类。前者主要适用于离散信源或数字信号，后者主要适用于波形信源或波形信号。 香农第一定理和第三定理是信源编码的理论基础，它们分别从理论上给出了进行无失真和限失真信源压缩的理论极限值，并指出理想最佳信源编码是存在的。但是它们未给出信源编码的实际构造方法和码结构。 本章主要讨论无失真信源编码的技术和方法。由香农第一定理，信源的信息熵是信源无失真编码的理论极限值，因此常常将无失真信源编码称为熵编码。 当信源的统计特性已知时，Huffman编码、游程编码和算术编码能达到或接近压缩的极限。 7.1 香农编码 7.1 香农编码 1. 概率匹配原则 (Principle of match with probability) 设信源符号 {a1, a2,…,am}，信源空间概率 {pi}，码元数目 r 。 7.1 香农编码 如果求和中的每一项都为零，或者说如果每一个i 都满足： li log(r) + logpi = 0 (i=1,2,..,m ) 求和必然为零。它等价于： 7.1 香农编码 概率匹配原则的解释： 从信息的荷载能力讲，信息量大的符号用长码，信息量小的符号用短码，是合理的。 自信息小的符号出现的概率大，采用较短的码字表示，必能节省代码长度。 自信息大的符号，虽然采用较长的码字表示，但由于它的概率小，不常出现，从总体上讲，不会明显影响平均码长。 7.1 香农编码 2. 香农编码 直接利用概率匹配原则进行的单符号信源编码称为Shannon编码。 例1： 无记忆信源发出4个符号： A B C D 已知概率 pi 分别为： 1/2 1/4 1/8 1/8 可算出自信息 ?log pi ： 1 2 3 3 根据概率匹配原则码长li可取为： 1 2 3 3 这里取整数 li = Ir(ai) = ? logrpi ，(ai = A, B, C, D) 7.1 香农编码 根据码长作出码树，如图。 7.1 香农编码 香农编码方法选择每个码字长度 li 满足 7.1 香农编码 例2： 无记忆信源发出五个符号： A B C D E 已知概率pi分别为： 0.4 0.3 0.2 0.05 0.05 可算出自信息 ?log pi： 1.32 1.74 2.32 4.32 4.32 根据概率匹配原则码长li取为： 2 2 3 5 5 这里取整数 li ? Ir(ai) = ? logrpi ，(ai = A, B, C, D, E) 7.1 香农编码 根据码长作出码树，如图。 7.1 香农编码 若将码树重新布局，如图。 7.2 费诺编码 7.2 费诺编码 (Fano Encoding) 费诺提出一种从根到叶的编码法，先把符号集分成两组，使各组总概率大致相等，每组符号再按概率大体相等的原则继续一分为二，直到每组只有一个符号为止。 例2： 无记忆信源发出五符号： A B C D E 已知概率pi分别为： 0.4 0.3 0.2 0.05 0.05 可算出自信息 ?log pi： 1.32 1.74 2.32 4.32 4.32 分组：第1层分组： A+D+E(0.5) || B+C(0.5) 第2层分组： A(0.4) || D+E(0.1) || B(0.3) || C(0.2) 第3层分组： || D(0.05) || E(0.05) || 7.2 费诺编码 按照分解过程将码树布局，如图。 7.2 费诺编码 例2： 无记忆信源发出五符号： A B C D E 已知概率pi分别为： 0.4 0.3 0.2 0.05 0.05 可算出自信息 ?log pi： 1.32 1.74 2.32 4.32 4.32 分组：第1层分组： A(0.4) ||