信息论第八章课件.pptVIP

* * 第八章 无失真的信源编码 8.1 霍夫曼(Huffman)码 8.2 费诺(Fano)码 8.3 香农—费诺—埃利斯码 8.1 霍夫曼(Huffman)码 8.1.1 二元霍夫曼码 8.1.2 r元霍夫曼码 8.1.3 Huffman码的最佳性 香农编码： 1、码长 2、按照算出的码长、用树图法编出相应的即时码。 一般香农编码的 不是最短的，即不是最佳码。 例8.1 用香农编码方法编成二元惟一可译码. 编码 8.1.1 二元霍夫曼码 1、二元Huffman码的编码步骤 将q个信源符号按概率分布由大到小的 顺序排列起来： (2)将码符号0,1分配给两个最小概率的信 源符号，并将其概率值合并，成为一个 信源符号，q个符号的 信源缩减成q-1 个 信源。 (3)排序 ，分配0,1, 重复步骤(2), 得缩减 信源 (4)直至最后信源只含两个符号，分配码 符号0,1. (5) 从最后一级信源开始，向前返回，码 符号顺序列出，得相应码字。 例8.1 构造出码树 原因：(1) 最小概率分配0,1时可任意。各 码长 不变, 不变, 码形式不同. (2) 缩减合并后的符号概率与其它符号概 率相同时, 概率大小次序当上下移动 时, 不违反规定。编码后 不同, 码不 同, 但 相同。 Huffman编码方法得到的码并不唯一。 2、例8.1 新合并概率放上面 码长比较 问题：码长相同，哪种编码好？ 码长度方差小的码序列长度变化较小，从实现的角度更好。 编码方法补充： 在霍夫曼编码过程中，在缩减信源时，使合并得来的概率尽量处于最高的位置。 3、霍夫曼码具有的三个特点 (1) 短码得到充分利用 则 (2) 各次缩减信源中最小概率的两个符号 有相同的码长。 (3) 各次缩减信源中最小概率的两个符号 的码字只有最后一位码元不同。 8.1.2 r元霍夫曼码 注意三点 (2) 每次合并r个最小概率成为新信源，减 少 个符号。 (3) 满足式 才能充分利用短码. 信源缩减次数 若不满足, 增加 的概率项 (1) 将最小概率的r个符号分配码元 例8.2 四元Huffman码 补二项 8.1.3 Huffman码的最佳性 1、定理8.1 (1) 若 对于给定分布的任何信源，存在一个最佳即时码，此码满足以下性质 (2) 两个最小概率的信源符号所对应的 码字具有相同的码长。 (3) 两个最小概率的信源符号对应的码 字，除最后一位码元不同外，前面 各位码元都相同。 2、定理 8.2 C是 Huffman 码。 可以证明 r 元霍夫曼码一定是最佳码。而且信源的N次扩展也可以采用Huffman 编码方法，当N增大时，快速 二元 Huffman 码一定是最佳即时码。即 (1) 无失真编码效率高, , 常用于文件传 真, 语音处理和图象处理的数据压缩. (2) 解决速率匹配问题，设备较复杂, 信源与信 道间需增加缓冲寄存器, 变速入, 恒速出。 Huffman 码的优点和缺点 (3) 克服误差扩散：限制霍夫曼码仅能应用于 优质信道（=10-6）以限制扩散的可能性。 (4) 要求了解信源的统计分布。 (5) 算法复杂度随着信源符号串长度的增加而 迅速增长。 Fano 码的编码步骤： (1) 将信源符号以概率递减的次序排列. (2) 划分成两大组，使每组的概率和近似 相等，并分别赋予码符号“0”和“1”. (3) 将每大组的信源符号再分成两大组， 重复(2), 直至每小组只剩一个信源符号. (4) 信源符号所对应的码符号序列则为 　 编得的码字。 8.2 费诺(Fano)码 例8.4