第8章无失真地信源编码.pptVIP

2004-10-28 Elements of Information Theory 信息论基础Elements ofInformation Theory 蒋青 jiangq@cqupt.edu.cn TEL第8章 无失真信源编码 8.1 编码器 8.2定长码 8.3唯一可译定理 4.4 等长信源编码定理 4.5 变长码 4.6 变长信源编码定理 4.7 几种典型的信源编码方法（变长编码方法） 8.1香农编码方法 香农第一定理指出了平均码长与信源信息熵之间的关系，同时也指出了可以通过编码使平均码长达到极限值，这是一个很重要的极限定理。 如何构造一个最佳码，香农第一定理并没有直接给出，本节将讲解具体的编码方法。 香农编码方法 （1）把信源的n个消息按概率递减次序排列，即P(x1)≥P(x2)≥…≥P(xn ) （2）确定满足下列不等式的整数码长 （5）取 二进制的小数点后bi位数作为该消息符号的二进制码字。 例2：一离散无记忆信源S的费诺码如下. 该信源的熵 平均码长 编码效率 例3：一离散无记忆信源的费诺码如下. 该信源的熵 平均码长 编码效率 从以上几例看出，费诺码的编码方法实际上是构造码树的一种方法，所以费偌码是非续长码。 费诺码考虑了信源的统计特性，使经常出现的信源符号对应短码字。但是，不一定能使短码得到充分利用。 费诺码不一定是最佳码。 霍夫曼 （Huffman）编码 编码步骤： 将q个信源符号以概率递减的次序排列； 用0和1码符号分别代表概率最小的两个信源符号，并合并成一个符号，从而得到只包含q-1个信源符号的新信源，称为信源的缩减信源。 将缩减信源的符号仍以概率递减的次序排列，再将其最后二个概率最小的符号分别用0和1表示，并合并成一个符号，形成了q-1个符号的缩减信源。 依次继续下去，直到信源最后只剩两个符号为止，将最后这两个符号分别用0和1表示。然后从最后一级缩减信源开始，向前返回，就得出各信源符号所对应的码符号序列，即对应的码字。 例1：一离散无记忆信源的Huffman编码 例2：一离散无记忆信源的Huffman编码 上2例两种编码有相同的平均码长，所以有相同的编码效率，但每个信源符号的码长却不相同。选择哪个码好呢？ 分别计算这两个编码的方差： 选择第二种编码方法更好些。 Huffman编码方法保证了概率大的符号对应于短码，概率小的符号对应于长码，而且短码得到充分利用。 每次缩减信源的最长两个码字总是最后一位码元不同，前面各位码元相同（二元编码情况）。 每次缩减信源的最长两个码字有相同的码长。 Huffman编码是最佳码 费诺编码例3的Huffman编码 与费诺编码例3比较，Huffman编码比Fano编码效率高。 信息论课件 通信与信息基础教学部 信息论课件 通信与信息基础教学部 满足b1≤ b2 ≤…≤bn （3）计算 （4）将累加概率 变换成二进制数。 例： 某信源具有7个消息符号，其概率分别为：0.20, 0.19, 0.18, 0.17, 0.15, 0.10, 0.01。欲对其进行香农方法的二进制编码，求其二进制代码组及其编码效率。 解： 先计算每一个码字的码长， 分别为：3, 3, 3, 3, 3, 4, 7； 再计算累加概率。 有关的数据和编码结果列见下表。 法2：也可先求出每个码字的码长后，在利用树图法求出二进制代码组 费诺(Fano)编码方法 编码步骤： 将信源符号以概率递减的次序排列； 将排列好的信源符号划分成两大组，使每组概率和尽量接近相同，并各赋予一个二元码符号“0”和“1”； 将每一大组的信源符号再分成两组，使同一组的两个小组的概率和近于相同，并又分别赋予一个二元符号。依次下去，直到每个小组只剩一个信源符号为止。 例1： 试对上例的信源用费诺编码方法，求其二进制代码组及其编码效率。 解：先将消息符号按概率大小排列，再按步骤进行子集分解，本题经过4次分解完成编码，整个过程列于下表 码字：1 001 011 0000 0100 0101 00010 00011 * * 信息论课件 通信与信息基础教学部 * *