《数字通信原理》信息论基础解说.ppt

第 4 章 信息论基础 本章的基本内容： 信息的度量方法； 离散信道及容量； 连续信源、信道及容量； 信源编码的基本方法； 率失真理论。 第4章 信息论基础 异字头不等长编码(续) 异字头码的编码原则 编码时应尽可能地使码字中的任一码元载荷达到其最大的信息量： 。 应使每个节点发出的种 分支出现的概率尽可能相等。 异字头码的编码方法 将信源符号分成尽可能等概的个子集，与码树的第一级的个节点对应； 对每个子集按同样的方法又分为个二级子集，与码树的第二级节点相对应； 以此类推，直至子集不能再分为止。 第4章 信息论基础 异字头不等长编码(续) 示例： 对信源符号集 做 的三进制异字头不等长编码。 解： 第4章 信息论基础 不等长编码的基本定理* 定理4.5.12 对具有个符号的信源符号集： ，其相应的长度为 的元异字头码存在的充要条件是如下的不等式成立 定理4.5.13 唯一可译码必满足(Kraft)不等式： (定理4.5.13）系：任一唯一可译码可用相应的码字长度一样的异字头码代替。 即：任一唯一可译码可用相应的码字长度一样的异字头码代替，而不改变该码的任何性质。 第4章 信息论基础 不等长编码的基本定理*(续) 定理4.5.14 （不等长编码定理） （1）若 是组成码字的元素的个数，则任一唯一可译码的平均码长满足： （2）存在有 元的可译码，其平均长度 第4章 信息论基础 不等长编码的基本定理*(续) 多个符号的联合不等长编码 记： 信源符号集： 待编码的符号序列： 特定符号序列 编码后输出的码字长度 符号序列 编码后的平均码字长度 符号序列 的熵函数 则由定理4.5.14，可得 第4章 信息论基础 不等长编码的基本定理*(续) 定义4.5.15 对个信源符号进行不等长联合编码时平均一个信源符号的编码长度定义为 由前面的讨论可得 可见：多个符号的不等长联合编码有同样利于提高编码效率。 第4章 信息论基础 不等长编码的基本定理*(续) 离散无记忆信源的扩展信源的编码 以 J 个离散无记忆信源符号为一组可构成一个扩展信源 扩展信源的熵函数为 由前面的分析可得 可见对扩展后的离散无记忆信源的编码有利于提高编码效率。 且有 第4章 信息论基础 不等长编码的基本定理*(续) 定义4.5.16 不等长码的编码速率定义为 是平均每个信源符号编码时所需的码元的个数； 是每个码元可能携带的最大信息量； 编码速率的物理意义是 个码元可携带的最大信息量。 定义4.5.17 不等长码的编码效率定义为 编码效率表示的是每个信源符号平均信息量与编码所需的平均码字符号可携带最大信息量的比值。 霍夫曼(Huffman)编码 霍夫曼编码是一种异字头不等长编码，其基本思想是： 对出现概率大的符号或符号组用位数较少的码字表示； 对出现概率小的符号或符号组用位数较多的码字表示。 由此可提高编码效率。 霍夫曼编码： 定理4.5.17 霍夫曼编码一种最佳的不等长编码。 霍夫曼编码的应用条件： 信源的分布(统计)特性已知。 记 信源符号集为： 编码输出符号集为： 第4章 信息论基础 霍夫曼编码(续) 霍夫曼编码的步骤： (1)将L个信源符号按概率大小，以递减次序，从上到下排成一列； (2)对处于最下面的概率最小的D个信源符号，一一对应地分别赋予码字元素Z1、Z2、…、ZD，把这D个概率最小的信源符号相应的概率相加，所得的值用一个虚拟的符号代表，与余下的L-D个符号组成含有(L-D)+1=L-(D-1)个符号的第一次缩减信源S(1)； (3)对缩减信源S(1)仍按其概率大小以递减次序从上到下排列，按照步骤(2)的方法处理，得到一个含有[(L-D)+1]-D+1=L-2(D-1)个符号的第二次缩减信源S(2)； (4)按照上述的方法，依次继续下去，每次缩减所减少的符号数是D-1个；只要缩减后的信源Si符号的个数大于D，缩减就继续进行； (5)当进行第k次缩减后信源S(k)符号个数刚好等于D，即有 则对最后这D个符号分别赋予码字元素Z1、Z2、…、ZD； 第4章 信息论基础 霍夫曼编码(续) 霍夫曼编码