信息论与编码-第五章(续1)讲义.ppt

信息论与编码-信源编码 最佳编码 香农第一定理给除了信源熵与编码后的平均码长之间的关系，同时也指出可已通过编码使平均码长达到极限值，因此，香农第一定理是一个极限定理。但定理中并没有告诉我们如何来构造这种码。 下面我们介绍三种编码方法：香农码、费诺码以及哈夫曼编码。这三种码的平均码长都比较短。 信息论与编码-信源编码 1. 香农(Shannon)编码方法 因为平均码长是各个码的概率平均，可以想象，应该使出现概率大的信源符号编码后码长尽量短一些。三种编码方法的出发点都是如此。 香农第一定理指出，选择每个码字的长度满足下式 就可以得到这种码。这种编码方法称为香农编码。 香农编码是采用信源符号的累计概率分布函数来分配码字。 信息论与编码-信源编码 设信源符号集 ，并设所有的P(x)0， 则香农编码方法如下： (1)将信源消息符号按其出现的概率大小依次排列： (2)确定满足下列不等式的整数码长 ： (3)为了编成唯一可以码，计算第 个消息的累加概率 信息论与编码-信源编码 (4)将累加概率 变换成二进制数。 (5)取 二进制数的小数点后 位即为该消息符号的二进制码字。 可以证明，这样得到的编码一定是唯一可译码，且码长比较短，接近于最佳编码。 信息论与编码-信源编码 例题：设信源共有 7个符号组成，其 概率