湖南大学信息论与纠错编码54191464-精选（公开课件）.pptVIP

第四讲 离散信源无失真编码--变长编码方法 香农编码法（Shannon） ---编码效率低，具有理论意义 费诺编码法（Fano） ---可以，但不能确保找到最佳编码 霍夫曼编码法（Huffman） ---平均码长最短，编码效率最高 几种常用编码方法： 1. Shannon编码法 Shannon第一定理虽然没有直接给出构造唯一可译码的方法； 在证明定理3.3上界时，已经给出了唯一可译码编码方法：选择每个码字的长度使之满足不等式: 注意这里采用二进制编码，D=2. 这种编码方法称为Shannon编码方法。 (3-30) 回顾定理3.3 ---即变长编码定理（定理3.4 ）的特例L=1 下限: H(X)/logD 上限: 1+H(X)/logD 如果： 也可以找到唯一可译码，但是难以保证紧致码，难以保证传输效率。 如果： 平均码长取下界，则能得到紧致码，对信源消息的概率分布有特殊要求 注意以下两点 回顾：定理3.3 上界的证明 把概率写成指数形式 用这种方式构造码，则码长满足： (3-28) (3-30) Shannon编码步骤 [举例]Shannon 编 码，以s5为例 [举例]Shannon 编 码，以s5为例 可以求得平均码长和编码效率： 平均码长：3.14 编码效率： 由表可以看出,一共有5个三位的代码组,各代码组 之间至少有一位数字不相同,故是唯一可译码。 同时可以看出，这7个代码组即时码。 Shannon编码方法的核心思想:码字的长度满足 则可找到唯一可译码。至于采用什么方法找一种唯一可译码，则无关紧要。 Shannon 编 码小结 例子中的Shannon编码是不是最佳码？？？ 先回忆一下:“树码一定是即时码,唯一可译码” 那么能否利用树码来寻找满足条件的唯一可译码呢？（码树结构图） 在三级节点上找出5个终端节点;(码长为3的5个) 在四级节点上找出1个终节点; (码长为4的1个) 在七级节点上找出1个终端节点(码长为7的1个) “从树根到每一个终端节点所走的路径不相同” 从码树可以看出，这不是一个紧凑码树(树码的各个分支都延伸到最后一级端点。) 也就是说按照Shannon编码方法编出来的码可以使不超过上界，但并不一定能使码长最短，即编出来的不一定是最佳码。 2. Fano编码方法 Fano编码依据----Shannon 第一定理： 回顾：Shannon第一定理的物理意义： 信源等概分布时，能得到最大传输率； 信源编码时，应使编码后的码集中各码字尽可能等概分布，若将该码集看成一个新的信源，此时新信源所含信息量最大。 Fano编码步骤 Fano编码不是最佳的编码方法。Fano码的编码程序如下： 首先,将信源符号以概率递减的次序排列； 将排列好的信源符号划分成两大组,使每组的概率和近于相同,并各赋于二元码符号“0”和“1”； 将每一个大组的信源符号再分成两组，使同一个组的两个小组的概率和近于相同，并分别赋于一个二元码符号； 依次下去，直至每个小组只剩下一个信源符号为止； 逐次分解得到的码元排列即信源符号所对应码字。 Fano 编码 计算Fano编码的编码效率 Fano编码效率略高于Shannon编码 逐次分解中，各码元取“0”或“1”是任意的，但码长要一致 Fano编码的核心思想：“一分为二” Fano编码方法实际上是构造码树的一种方法，即时码； Fano编码方法考虑了信源的统计特性，使大概率的信源符号对应短码，小概率的信源符号对应长码。 Fano编码方法不一定能使短码得到充分利用。当信源符号多，一些符号概率分布很接近，分两大组的组合方法就会很多。可能某种分大组的结果，会出现后面小组“概率和”相差较远，因而平均码长增加。 Fano编码方法同样适用于D进制编码，只需每次分成D组即可。 * [Fano编码] 单符号离散无记忆信源 对该信源编二进制费诺码,编码过程如表: * 信源熵为 H(X)=2.75(比特/符号) 平均码长为 编码效率为η=1 之所以如此,因为每次所分两组的概率恰好相等。 费诺码比较适合于每次分组概率都很接近的信源； 特别是对每次分组概率都相等的信源进行编码时,可达到理想的编码效率。 3. 霍夫曼(Huffman)编码 1952年Huffman提出了对统计独