第4章信源压缩编码基础剖析.ppt

* * 此信源的熵 (比特／符号)， 而码的平均长度 (二元码符号／符号) 显然，该码是紧致码，编码效率： 该码之所以能达到最佳，是因为信源符号的概率分布正好满足式，否则，在一般情况下是无法达到编码效率等于“1”的。 码的性能分析： * * 费诺码具有如下的性质： ①费诺码的编码方法实际上是一种构造码树的方法，所以费诺码是即时码。 ②费诺码考虑了信源的统计特性，使概率大的信源符号能对应码长较短的码字，从而有效地提高了编码效率。 ③费诺码不一定是最佳码。因为费诺码编码方法不一定能使短码得到充分利用:当信源符号较多时，若有一些符号概率分布很接近时，分两大组的组合方法就会很多。可能某种分大组的结果，会使后面小组的“概率和”相差较远，从而使平均码长增加。 * * 3 霍夫曼码 1952年，霍夫曼（Huffman）提出了一种构造最佳码的方法，这是一种最佳的逐个符号的编码方法，一般就称作霍夫曼码。 设信源 ，其对应的概率分布为 ，则对二元霍夫曼码而言，其编码步骤如下： * * 1）将q个信源符号按概率递减的方式排列起来； 2）用“0”、“1”码符号分别表示概率最小的两个信源符号，并将这两个概率最小的信源符号合并成一个新的符号，从而得到只包含q-1个符号的新信源，称之为S信源的S1缩减信源； 3）将缩减信源中的符号仍按概率大小以递减次序排列，再将其最后两个概率最小的符号合并成一个符号，并分别用“0”、“1”码符号表示，这样又形成了由q-2个符号构成的缩减信源S2； 4）依次继续下去，直到缩减信源只剩下两个符号为止，将这最后两个符号分别用“0”、“1”码符号表示； 5）从最后一级缩减信源开始，向前返回，沿信源缩减方向的反方向取出所编的码元，得出各信源符号所对应的码符号序列，即为对应信源符号的码字。 * * 例:对离散无记忆信源 进行霍夫曼编码。 解:编码过程如表所示： 1)将信源符号按概率大小由大至小排序。 2)从概率最小的两个信源符号和开始编码，并按一定的规则赋予码符号，如下面的信源符号（小概率）为“1”，上面的信源符号（大概率）为“0”。若两支路概率相等，仍为下面的信源符号为“1” 上面的信源符号为“0”。 3)将已编码两个信源符号概率合并，重新排队，编码。 4)重复步骤3）直至合并概率等于“1.0”为止。 5)从概率等于“1.0”端沿合并路线逆行至对应消息编码. * * * * 码的性能分析： 信源的熵为：H(s)=2.12 (比特／符号) 从 ，可得平均码长为： 编码效率为： * * 按霍夫曼码的编码方法，可知这种码有如下特征： ①它是一种分组码：各个信源符号都被映射成一组固定次序的码符号； ②它是一种惟一可解的码：任何码符号序列只能以一种方式译码； ③它是一种即时码：由于代表信源符号的节点都是终端节点，因此其编码不可能是其它终端节点对应的编码的前缀，霍夫曼编码所得的码字一定是即时码。所以一串码符号中的每个码字都可不考虑其后的符号直接解码出来。 霍夫曼码的译码：对接收到的霍夫曼码序列可通过从左到右检查各个符号进行译码。 * * 说明： ①霍夫曼码是一种即时码，可用码树形式来表示。 ②每次对缩减信源最后两个概率最小的符号，用“0”和“1”码是可以任意的，所以可得到不同的码，但码长不变，平均码长也不变。 ③当缩减信源中缩减合并后得到的新符号的概率与其他信源符号概率相同时，从编码方法上来说，它们概率的排序是没有限制的，因此也可得到不同的码。 即对给定信源，用霍夫曼编码方法得到的码并非是惟一，但平均码长不变。 三种编码的比较 Huffman:不唯一，但对信源没有特殊要求，且编码效率较高，设备要求简单，综合性能优于另外两种。 相同点：三种编码都考虑了信源的统计特性，使经常出现的信源符号对应较短的码字，使平均码长缩短，实现了信源压缩。 不同点：shnnon：有唯一的编码，但编码效率不是很高； Fano:编码方法不唯一，适合与分组概率相等或相近的信源； * * 4.5.3 MH编码（游程编码） 游