第6章无失真信源编码资料.ppt

对于4个符号的信源，则n=4，r=2，因此码长 编码方案可以是： 码字集合的构造 设S0为原始码字的集合，再构造一系列集合S1 ,S2 , … ； 集合S1的构造：考察S0中所有码字，若码字 是码字 的前缀，即 ，则将后缀A列为S1中的元素； Sn（n1）的构造：若有码字 ，且 是 的前缀，即 则将后缀A列为Sn中的元素；同样，若有码字 是 的前缀，即 ，则将后缀A’也列为Sn中的元素。 一直到更新的集合为空集为止。 6.5.1 香农编码 6.5.2 费诺编码 6.5.3 霍夫曼码 6.5.4 游程编码 基本结论 对信源序列编码比对信源符号编码能获得更好的压缩效果； 序列越长，单个符号所需的平均码长越短，编码效率越高； 20世纪70年代末、80年代初由Rissanen、Pasco和Landon等人发展起来的编码方法 算术编码的思想：用信源符号对应的概率区间中的一个点来表示该信源符号。 算术编码不是对信源符号编码，而是对N次扩展信源（信源符号序列）编码。 算术编码适合于小消息信源，即n较小的信源。 算术编码基本思想 6.6.1 算术编码基本原理 一次 扩展 二次扩展 三次扩展 符号 a b aa ab ba bb aaa aab aba baa abb bab bba bbb 概率 0.7 0.3 0.49 0.21 0.21 0.09 0.343 0.147 0.147 0.147 0.063 0.063 0.063 0.027 码字 1 0 1 01 000 001 00 11 010 011 1000 1001 1010 1011 编码 长度 1 1 1 2 3 3 2 2 3 3 4 4 4 4 平均码长 1 0.91 0.90867 编码效率 88.1% 96.2% 96.9% 为什么对信源序列编码 【例6-15，P102】试分别对信源的一次、二次、三次扩展信源进行霍夫曼编码，并比较平均码长和编码效率。 3 4 香农编码方法的步骤： 1 按信源符号的概率从大到小的顺序排队，不妨设 2 香农编码例子 设有一单符号离散无记忆信源 试对该信源编二进制香农码，并求平均码长和编码效率。 【例，增】 编码过程： （1）计算累加概率 信源熵： 平均码长： 编码效率： （2）编码效率计算 设有离散无记忆信源 费诺编码方法的步骤： 按编码进制数r将概率分组，使每组概率尽可能接近或相等。 2 给每个分组分配一个码元。 3 对每个分组重复2、3步，直到不可分为止。 4 信源符号所对应的码字即为费诺码。 5 1 按信源符号的概率从大到小的顺序排队，不妨设 费诺编码例子 设有一单符号离散无记忆信源 试对该信源编二进制费诺码，并求平均码长和编码效率。 【例，增】 （1）编码过程 说明： 可以看出本例中费诺码有较高的编码效率。 费诺码比较适合于每次分组概率都很接近的信源。 信源熵： 平均码长： 编码效率： （2）编码效率计算 费诺码具有如下的性质： 费诺码的编码方法实际上是一种构造码树的方法，所以费诺码是即时码。 费诺码考虑了信源的统计特性，使概率大的信源符号能对应码长较短的码字，从而有效地提高了编码效率。 费诺码不一定是最佳码。因为费诺码编码方法不一定能使短码得到充分利用:当信源符号较多时，若有一些符号概率分布很接近时，分两大组的组合方法就会很多。可能某种分大组的结果，会使后面小组的“概率和”相差较远，从而使平均码长增加。 r 元费诺码 前面讨论的费诺码是二元费诺码； 对r元费诺码，与二元费诺码编码方法相同，只是每次分组时应将符号分成概率分布接近的r个组。 1、 二元霍夫曼码 1952年，霍夫曼（Huffman）提出了一种构造最佳码的方法，这是一种最佳的逐个符号的编码方法，一般就称作霍夫曼码 设有离散无记忆信源 二元霍夫曼编码方法的步骤： 将两个概率最小的符号合并成一个新符号，新符号的概率为两个符号概率之和，得到只包含n－1个符号的缩减信源U1 2 将信源符号按概率由大到小顺序排队 1 依次继续，直至信源最后只剩下１个符号为止。 4 把缩减信源U1的符号仍按概率从大到小排列，将其中两个概率最小的符号合并成一个符号，形成n－2个符号的缩减信源U2 3 将每次合并的两个信源符号分别用0和1码符号表示。 5 从最后一级缩减信源开始，向前返回，就得出各信源符号所对应的码符号序列，即得各信源符号对应的码字 。 6 霍夫曼编码过程 二元霍夫曼编码例子1 【例6-11，P99】对离散无记忆信源