数字通信原理正4信息论基础1.ppt

课件 课件 第四章 信息论基础 离散无记忆信源(DMS)的有损等长编码(续) 典型序列的出现概率： 即： 典型序列集 为高概率集； 非典型序列集 为低概率集。 课件 第四章 信息论基础 离散无记忆信源(DMS)的有损等长编码(续) 典型序列集在整个序列空间中所占的比例： 通常 取值很小，满足 因此 说明虽然典型序列集是一个高概率集，但在整个序列空间中可能只占很小的比例； 如果容许一定的失真，只对典型序列编码，对非典型序列不予编码传输，则可大大提高传输的效率。 典型序列 非典型序列 课件 第四章 信息论基础 离散无记忆信源(DMS)的有损等长编码(续) 示例：已知二元信源 信源的熵为： 若取 所有的序列构成的集合为 课件 第四章 信息论基础 示例(续)： 由： (1) 若取 平均信息量落在该范围内的序列为 如果要无失真地传输原来的全部序列，采用二进制编码的 话，需要3比特；如仅传输典型序列，只需2比特。 课件 第四章 信息论基础 示例(续)： (1) 若取 平均信息量落在该范围内的序列为 如仅传输典型序列，同样也只需2比特。 课件 第四章 信息论基础 编码速率 假定信源输出按照 J 个符号构成的序列编码 编码输出 可能获得的编码输出的码字数为 相应的比特数为 编码速率 R 定义为： 若采用二进制编码，则有 课件 第四章 信息论基础 编译码传输模型 译码错误概率定义为 定义4.5.4 可达速率 给定信源和编码速率R，对任意的 若存在 和编译码方法： 、 使当 时，有 则该编码速率称为可达的 反之称速率是不可达的。 课件 第四章 信息论基础 定理 4.5.5 若 ，则速率 R 是可达的； 若 ，则速率 R 是不可达的。 该定理说明，若 ，则存在编码方法，当 J 足够 大时，只需对典型序列进行编码，可使编码误差足够地小。 课件 第四章 信息论基础 在满足一定的译码错误概率的条件下，若只对典型序列编 码，编码效率可定义为 若记：编码速率： 自信息方差： 则不能正确译码的概率 满足关系式 根据最后一个等式，可确定编码序列的长度 J 。 课件 第四章 信息论基础 示例： (1)对二元符号进行无差错的二进制编码 此时 、 、 (2) 若要求编码效率 ， 求所需的编码序列长度 J 由 得 课件 第四章 信息论基础 示例(续)： 自信息方差： 最后得所需的符号序列长度 (该取值太大，可见等长编码不易在实际系统中应用) 课件 第四章 信息论基础 霍夫曼(Huffman)编码 不等长编码的概念： 对出现概率大的符号或符号组用位数较少的码字表示； 对出现概率小的符号或符号组用位数较大的码字表示。 霍夫曼编码： 定理4.5.17 霍夫曼编码一种最佳的不等长编码。 霍夫曼编码的应用条件： 信源的分布(统计)特性已知。 记 信源符号集为： 编码输出符号集为： 课件 第四章 信息论基础 霍夫曼编码的步骤： (1)将L个信源符号按概率大小，以递减次序，从上到下排成一列； (2)对处于最下面的概率最小的D个信源符号，一一对应地分别赋予码字元素Z1、Z2、…、ZD，把这D个概率最小的信源符号相应的概率相加，所得的值用一个虚拟的符号代表，与余下的L-D个符号组成含有(L-D)+1=L-(D-1)个符号的第一次缩减信源S(1)； (3)对缩减信源S(1)仍按其概率大小以递减次序从上到下排列，按照步骤(2)的方法处理，得到一个含有[(L-D)+1]-D+1=L-2(D-1)个符号的第二次缩减信源S(2)； (4)按照上述的方法，依次继续下去，每次缩减所减少的符号数是D-1个；只要缩减后的信源