《数字通信原理》信息论基础教材.ppt

第 4 章 信息论基础 本章的基本内容： 信息的度量方法； 离散信道及容量； 连续信源、信道及容量； 信源编码的基本方法； 率失真理论。 第4章 信息论基础 异字头不等长编码(续) 异字头码的编码原则 编码时应尽可能地使码字中的任一码元载荷达到其最大的信息量： 。 应使每个节点发出的种 分支出现的概率尽可能相等。 异字头码的编码方法 将信源符号分成尽可能等概的个子集，与码树的第一级的个节点对应； 对每个子集按同样的方法又分为个二级子集，与码树的第二级节点相对应； 以此类推，直至子集不能再分为止。 第4章 信息论基础 异字头不等长编码(续) 示例： 对信源符号集 做 的三进制异字头不等长编码。 解： 第4章 信息论基础 不等长编码的基本定理* 定理4.5.12 对具有个符号的信源符号集： ，其相应的长度为 的元异字头码存在的充要条件是如下的不等式成立 定理4.5.13 唯一可译码必满足(Kraft)不等式： (定理4.5.13）系：任一唯一可译码可用相应的码字长度一样的异字头码代替。 即：任一唯一可译码可用相应的码字长度一样的异字头码代替，而不改变该码的任何性质。 第4章 信息论基础 不等长编码的基本定理