第4章 无失真信源编码B.pptVIP

上节课回顾 最佳编码---香农码、费诺码、哈夫曼编码 上节课回顾： 编码的一些术语和概念：定长码、变长码；奇异码、非奇异码；唯一可译码；即时码、非即时码；码树 唯一可译码的判断：尾随后缀判断法； 定长编码定理：二元码的平均长度大于等于信源的熵； 变长编码定理：香农第一定理，二元码的平均长度大于等于码的平均符号熵； 4.4 最佳编码 香农第一定理给除了信源熵与编码后的平均码长之间的关系，同时也指出可已通过编码使平均码长达到极限值，因此，香农第一定理是一个极限定理。但定理中并没有告诉我们如何来构造这种码。 下面我们介绍三种编码方法：香农码、费诺码以及哈夫曼编码。这三种码的平均码长都比较短。 1. 香农编码方法 因为平均码长是各个码的概率平均，可以想象，应该使出现概率大的信源符号编码后码长尽量短一些。三种编码方法的出发点都是如此。 香农编码严格意义上来说不是最佳码。 香农编码是采用信源符号的累计概率分布函数来分配码字。 则香农编码方法如下： (1)将信源消息符号按其出现的概率大小依次排列： (2)确定满足下列不等式的整数码长 ： (3)为了编成唯一可以码，计算第 个消息的累加概率 (4)将累加概率 变换成二进制数。 (5)取 二进制数的小数点后 位即为该消息符号的二进制码字。 可以证明，这样得到的编码一定是唯一可译码，且码长比较短，接