第4章无失真信源编码B报告.pptVIP

上节课回顾 最佳编码---香农码、费诺码、哈夫曼编码 上节课回顾： 编码的一些术语和概念：定长码、变长码；奇异码、非奇异码；唯一可译码；即时码、非即时码；码树 唯一可译码的判断：尾随后缀判断法； 定长编码定理：二元码的平均长度大于等于信源的熵； 变长编码定理：香农第一定理，二元码的平均长度大于等于码的平均符号熵； 4.4 最佳编码 香农第一定理给除了信源熵与编码后的平均码长之间的关系，同时也指出可已通过编码使平均码长达到极限值，因此，香农第一定理是一个极限定理。但定理中并没有告诉我们如何来构造这种码。 下面我们介绍三种编码方法：香农码、费诺码以及哈夫曼编码。这三种码的平均码长都比较短。 1. 香农编码方法 因为平均码长是各个码的概率平均，可以想象，应该使出现概率大的信源符号编码后码长尽量短一些。三种编码方法的出发点都是如此。 香农编码严格意义上来说不是最佳码。 香农编码是采用信源符号的累计概率分布函数来分配码字。 则香农编码方法如下： (1)将信源消息符号按其出现的概率大小依次排列： (2)确定满足下列不等式的整数码长 ： (3)为了编成唯一可以码，计算第 个消息的累加概率 (4)将累加概率 变换成二进制数。 (5)取 二进制数的小数点后 位即为该消息符号的二进制码字。 可以证明，这样得到的编码一定是唯一可译码，且码长比较短，接近于最佳编码。 也可以不对信源消息符号按概率大小排列，这时香农编码方案如下： (1)求出修正累计概率分布函数为 (2)确定满足下式的码长 (3)将修正累加概率 变换成二进制数。 (4)取 二进制小数点后 位即为该消息符号的二进制编码。 例题：设信源共有 7个符号组成，其 概率如表所示， 求其香农码。 以 为例， 累加概率 ，变成二进制数，为0.1001…， 转换的方法是：用 乘以2，如果整数部分有进位，则小数点后第一位为1，否则为0，将其小数部分再做同样的处理，得到小数点后的第二位，依此类推，直到得到了满足要求的位数，或者没有小数部分了为止。 例如现在 ，乘以2为1.14，整数部分有进位，所以小数点后第一位为1，将小数部分即0.14再乘以2，得0.28，没有整数进位，所以小数点后第二位为0，依此类推，可得到其对应的二进制数为0.1001…。 可以看出，编码所得的码字，没有相同的，所以是非奇异码，也没有一个码字是其它码字的前缀，所以是即时码。唯一可译码。 平均码长为： 2. 费诺编码方法 费诺编码也不是最佳编码方法，但有时可以得到最佳编码。 费诺编码方法如下： 首先，将信源符号以概率递减的次序排列起来，将排列好的信源符号分成两组，使每一组的概率之和相接近，并各赋予一个二元码符号“0”或者“1”；然后，将每一组的信源符号再分成两组，使每一小组的符号概率之和也接近相等，并又分别赋予一个二元码符号。 依此下去，直到每一个小组只剩下一个信源符号为止。这样，信源符号所对应的码符号序列则为编得的码字。 例题：信源符号及其概率仍如香农码中的例题所示。编码过程及编码结果如下表所示，可以求得，该费诺码的平均码长为 信息传输率为 例题：离散无记忆信源及其符号概率分布如下表所示，求其费诺码。 求费诺码的过程也表示在表中。码的平均长度为 ，信源的熵为 因此是最佳码。原因是概率分布满足一定的条件。 3. 哈夫曼编码方法 1952年哈夫曼提出了一种构造最佳码的方法。它是一种最佳的逐个符号的编码方法。其编码步骤如下： (1) 将q个信源符号按概率分布的大小，以递减次序排列起来，设 (2) 用“0”和“1”码符号分别代表概率最小的两个信源符号，并将这两个概率最小的符号合并成一个符号，合并的符号概率为两个符号概率之和，从而得到只包含q-1个符号的新信源，称为缩减信源。 (3)把缩减信源的符号仍旧按概率大小以递减次序排列，再将其概率最小的两个信源符号分别用“0”和“1”表示，并将其合并成一个符号，概率为两符号概率之和，这样又形成了q-2个符号的缩减信源。 (4)依此继续下去，直至信源只剩下两个符号为止。将这最后两个信源符号分别用“0”和“1”表示。 (5)然后从最后一级缩减信源开始，向前返回，就得出各信源符号所对应的码符号序列，即对应的码字。 其平均码长为 信息传输率为 从表中编码过程可以看出，哈夫曼编码方法得到的码一定是即时码。因为这种编码方法不会使任一码字的前缀为码字。这一点在用码树形式来表示的时候，看得更清楚。 下图是用码树形式进行哈夫曼编码的过程，由于