第8章-无失真的信源编码.pptVIP

第8章 无失真的信源编码 香农第一定理给出了信源熵与编码后的平均码长之间的关系，同时也指出可已通过编码使平均码长达到极限值，因此，香农第一定理是一个极限定理。 但定理中并没有告诉我们如何来构造这种码。 最佳变长码：凡是能载荷一定的信息量，且码字的平均长度最短，可分离的变长码的码字集合称为最佳变长码。 我们学习三种编码方法：香农码、霍夫曼码以及费诺码。 这三种码的平均码长都比较短。 因为平均码长是各个码的概率平均，可以想象，应该使出现概率大的信源符号编码后码长尽量短一些。三种编码方法的出发点都是如此。 8.1 霍夫曼码 香农编码 香农编码严格意义上来说不是最佳码。 香农编码是采用信源符号的累计概率分布函数来分配码字。 香农编码方法如下： (1)将信源消息符号按其出现的概率大小依次排列： (2)确定满足下列不等式的整数码长Ki： (3)为了编成唯一可译码，计算第i个消息的累加概率 (4)将累加概率Pi变换成二进制数。 (5)取Pi二进制数的小数点后Ki位即为该消息符号的二进制码字。 可以证明，这样得到的编码一定是唯一可译码，且码长比较短，接近于最佳编码。 例： 设信源共有7个符号组成，其概率如表所示，求其香农码。 以i=4为例， 累加概率Pi=0.57，变成二进制