编码理论 第二版 教学课件 作者 田丽华 第1 5章 第3章.ppt

第3章　无失真信源编码方法 3.1　霍夫曼码及其他编码方法  3.1.1二元霍夫曼码 1952年霍夫曼提出了一种构造最佳码的方法，它是一种逐个符号的编码方法。所得的码字是异前置码的变长码，其平均码长最短，是最佳变长码，又称霍夫曼码，二元霍夫曼码编码步骤如下： (1)将n元信源U的各个符号ui按概率分布p（ui）以递减次序排列起来。 (2)将两个概率最小的信源符号合并成一个新符号，新符号的值为两个信源符号值的和，从而得到只包含n－1个符号的新信源，称为U信源的缩减信源U1。 　 (3)把缩减信源U1的符号仍按概率大小以递减次序排列，然后将其中两个概率最小的符号合并成一个符号，这样又形成了n－2个符号的缩减信源U2。　　 (4)依次继续下去，直至信源最后只剩下１个符号为止。　 (5)将每次合并的两个信源符号分别用0和1码符号表示。　 (6)从最后一级缩减信源开始，向前返回，就得出各信源符号所对应的码符号序列，即得各信源符号对应的码字。 ［例3-1］离散无记忆信源 图3－1　例3－1霍夫曼编码 【例3－2】　离散无记忆信源 图3－2　例3－2的两种霍夫曼编码 　　图3-3中（a）、（b)所示两种方案的霍夫曼编码平均码长都为 图3－3　例3－2对应的霍夫曼树 　　两种码有相同的平均码长，有相同的编码效率，但每个信源符号的码长却不相同，其均方差也不同。下面分别计算两种码的均方差σ2，即 　　可见，霍夫曼码得到的码并非是惟一的。因为对缩减信源的两个概率最小的符号，可以任意的用0和1码，所以可得到不同的码，但它们只是码字具体结构不同，而其码长不变，平均码长也不变，因此没有本质区别。另外，若当缩减信源中缩减合并后的符号的概率与其他信源符号概率相同时，从编码方法上来说，对等概率的符号哪个放在上面、哪个放在下面是没有区别的，但得到的码是不同的。对这两种不同的码，它们的码长各不同，然而平均码长是相同的。在编码中，对等概率消息，若将新合并的消息排列到上支路，可以证明它将缩短码长的方差，即编出的码更接近等长码；同时可使合并的元素重复编码次数减少，使短码得到充分利用。 3.1.2　m元霍夫曼码　　前面讨论的二元霍夫曼码的编码方法可以推广到m元编码中，不同的只是每次把概率最小的m个符号合并成一个新的信源符号，并分别用0，1，…，m－1等码元来表示。　　为了使短码得到充分利用，使平均码长最短，必须使最后一步的缩减信源有m个信源符号。因此，对于m元编码，信源U的符号个数n必须满足： 　　对于二元码，总能找到一个Q满足式（3－1）。但对于m元码，n为任意正整数时不一定能找到一个Q满足式（3－1），此时，可以人为地增加一些概率为零的符号，以满足式（3－1），然后取概率最小的m个符号合并成一个新符号（结点），并把这些符号的概率相加作为该结点的概率，重新按概率由大到小顺序排队，再取概率最小的m个符号（结点）合并；如此下去直至树根。 　　下面给出m元霍夫曼的编码步骤：　　(1)验证所给n是否满足式（3－1），若不满足该式，可以人为地增加一些概率为零的符号，以使最后一步有m个信源符号。　　(2)将信源符号按概率递减次序排列，取概率最小的m个符号合并成一个新结点，并分别用0，1，…，m－１给各分支赋值,把这些符号的概率相加作为该新结点的概率。　　(3)将新结点和剩下结点重新排队，重复步骤（2），如此下去直至树根。　　(4)取树根到叶子（信源符号对应结点）的各树枝上的值，得到各符号码字。 【例3－3】　已知信源 图3-4 例3-3三元霍夫曼编码 图3－5　例3－3四元霍夫曼编码 　　信源熵： 3.1.4　香农编码　　香农第一定理指出了平均码长与信源信息熵之间的关系，同时也指出了可以通过编码使平均码长达到极限值，这是一个很重要的极限定理。至于如何去构造一个紧致码(最佳码)，定理并没有直接给出。香农第一定理指出，选择每个码字的长度li使之为满足式-logp(ui)≤li -logp(ui)+1的整数，就可以得到惟一可译码，这种编码方法称为香农编码。按照香农编码方法编出来的码可以使平均码长L不超过上界，但并不一定能使L为最短，即编出来的不一定是紧致码。 　　可见，香农编码方法剩余度稍大，实用性不强，但有其重要的理论意义。二元香农码的编码过程如下：　　（1）将信源发出的n个消息（符号）按其概率的递减次序依次排列。　　(2)为了编成惟一可译码，首先计算第i个信源符号的累加概率：　　(3)将累加概率pi(为小数)变换成二进制数。　　(4)根据码长li，取小数点后li位数作为第i个信源符号的码字, li可由下式确定：式中：［X］——取大于或等于X的