信息论：第8章 无失真的信源编码.pptVIP

第8章 无失真的信源编码 香农第一定理给出了信源熵与编码后的平均码长之间的关系，同时也指出可已通过编码使平均码长达到极限值，因此，香农第一定理是一个极限定理。 但定理中并没有告诉我们如何来构造这种码。 最佳变长码：凡是能载荷一定的信息量，且码字的平均长度最短，可分离的变长码的码字集合称为最佳变长码。 我们学习三种编码方法：香农码、霍夫曼码以及费诺码。 这三种码的平均码长都比较短。 因为平均码长是各个码的概率平均，可以想象，应该使出现概率大的信源符号编码后码长尽量短一些。三种编码方法的出发点都是如此。 8.1 霍夫曼码 香农编码 香农编码严格意义上来说不是最佳码。 香农编码是采用信源符号的累计概率分布函数来分配码字。 香农编码方法如下： (1)将信源消息符号按其出现的概率大小依次排列： (2)确定满足下列不等式的整数码长Ki： (3)为了编成唯一可译码，计算第i个消息的累加概率 (4)将累加概率Pi变换成二进制数。 (5)取Pi二进制数的小数点后Ki位即为该消息符号的二进制码字。 可以证明，这样得到的编码一定是唯一可译码，且码长比较短，接近于最佳编码。 例： 设信源共有7个符号组成，其概率如表所示，求其香农码。 以i=4为例， 累加概率Pi=0.57，变成二进制数，为0.1001…。 转换的方法是：用Pi乘以2，如果整数部分有进位，则小数点后第一位为1，否则为0，将其小数部分再做同样的处理，得到小数点后的第二位，依此类推，直到得到了满足要求的位数，或者没有小数部分了为止。 例如现在Pi=0.57，乘以2为1.14，整数部分有进位，所以小数点后第一位为1，将小数部分即0.14再乘以2，得0.28，没有整数进位，所以小数点后第二位为0，依此类推，可得到其对应的二进制数为0.1001…。 可以看出，编码所得的码字，没有相同的，所以是非奇异码，也没有一个码字是其它码字的前缀，所以是即时码，也是唯一可译码。 平均码长为： 平均信息传输效率为 注意：此例中，X6与X7的码字完全可以采用长度为3的其他的码字代替，而没有必要采用码长4和7。 1952年霍夫曼提出了一种构造最佳码的方法。它是一种最佳的逐个符号的编码方法。其编码步骤如下： (1) 将信源消息符号按其出现的概率大小依次排列 (3) 重复步骤(2)：把缩减信源的符号仍旧按概率大小以递减次序排列，再将其概率最小的两个信源符号分别用“0”和“1”表示，并将其合并成一个符号，概率为两符号概率之和，这样又形成了q-2个符号的缩减信源。 (4) 不断继续上述过程，直至信源只剩下两个符号为止。将这最后两个信源符号分别用“0”和“1”表示。 (5) 然后从最后一级缩减信源开始，向前返回(逆向) ，就得出各信源符号所对应的码符号序列，即对应的码字。 例8.1: 对离散无记忆信源 进行霍夫曼编码。 解:编码过程如表所示， 1)将信源符号按概率大小由大至小排序。 2)从概率最小的两个信源符号和开始编码，并按一定的规则赋予码符号，如下面的信源符号（小概率）为“1”，上面的信源符号（大概率）为“0”。若两支路概率相等，仍为下面的信源符号为“1” 上面的信源符号为“0”。 码的性能分析： 信源的熵为： (比特／符号) 可得平均码长为： 编码效率为： 按霍夫曼码的编码方法，可知这种码有如下特征： ①它是一种分组码：各个信源符号都被映射成一组固定次序的码符号； ②它是一种惟一可解的码：任何码符号序列只能以一种方式译码； 说明： ①霍夫曼码是一种即时码，可用码树形式来表示。 ②每次对缩减信源最后两个概率最小的符号，用“0”和“1”码是可以任意的，所以可得到不同的码，但码长不变，平均码长也不变。 ③当缩减信源中缩减合并后得到的新符号的概率与其他信源符号概率相同时，从编码方法上来说，它们概率的排序是没有限制的，因此也可得到不同的码。 即对给定信源，用霍夫曼编码方法得到的码并非是惟一，但平均码长不变。 从以上的编码实例中可以看出，霍夫曼编码具有以下特点： (1)霍夫曼编码方法保证了概率大的符号对应于短码，概率小的符号对应于长码，充分利用了短码； (2)每次缩减信源的最后两个码字总是前面各位码元相同、最后一位码元不同，从而保证了霍夫曼码是即时码。 (3)每次缩减信源的最长两个码字有相同的码长。 这三个特点保证了所得的霍夫曼编码一定是最佳码。