信息论基础第八周.pptVIP

信息论基础 杜春娟 ducj@scnu.edu.cn QQTel第三章 数据压缩和信源编码  练习：有一信源，它有六个可能的输出，其概率分布如下表所示，表中给出了对应的码A、B、C、D、E和F, 求这些码中哪些是唯一可译码； 求哪些码是即时码； 对所有唯一可译码求出其平均码长 几种编码方法 1. 香农编码 2. 费诺编码 3. 哈夫曼编码 最佳码: 定义:能载荷一定的信息量，且码字的平均长度最短，可分离的变长码的码字集合. 香农指出，选择每个码字的长度 K i满足下式 I (xi )≤ K i＜I(xi)+1， 就可以得到这种码。这种编码方法称为香农编码。 编码方法如下： (1) 将信源消息符号按其出现的概率大小依次排列  p(x1)≥p(x2)≥…≥p (xn)  (2) 确定满足下列不等式的整数码长K i：  (3) 为了编成唯一可译码，计算第i个消息的累加概率  (4) 将累加概率Pi变换成二进制数。 (5) 取Pi二进数的小数点后K i位即为该消息符号的二进制码字。 1.香农编码方法 例1：设信源共7个符号消息，其概论和累加概率如图所示。以i＝4为例， －log0.17≤K4 ≤ －log0.17+1 2.56≤K4 ≤3.56