如哈夫曼编码.PPT

第五章　信源编码 5.1 香农编码 5.2 费诺编码 5.3 哈夫曼编码 5.4 游程编码 5.4 冗余位编码 信源编码概述 编码是为了优化通信系统，一般的通信系统的主要性能指标：有效性、可靠性和安全性 信源编码的目的：提高通信系统的有效性，通常通过压缩信源的冗余度来实现，即压缩每个信源符号的信息量，使得同样多的信息用较少的信息传输率来传送 信源编码的思路：根据信源输出符号序列的统计特性，寻找一定的把信源输出符号序列变换为最短码字序列的方法 信源编码的基本途径：使编码后的符号序列中的各个符号尽可能地相互独立；使编码后各个符号出现的概率尽可能的相等 信源编码的基础：无失真编码定理和限失真编码定理 5.1　香农编码 香农编码是采用信源符号的累计概率分布函数来分配码字的 编码所得的码字，没有相同的，所以是非奇异码，也没有一个码字是其它码字的前缀，所以是即时码。 香农码的效率不高，其冗余度较大，不是最佳码，实用性受到较大限制 5.2　费诺编码 费诺编码又称为子集分解法，通过将信源符号的概率分组，对每个组分配相应的码元来实现编码，其编码步骤如下： 实质上是一种构造码树的方法，所以费诺码是即时码 概率大，则分解的次数小；概率小, 则分解的次数多 码字集合是唯一的 分解完后，码字与码长便确定了 费诺码适合于每次分组概率都很接近的信源。特别是对每次分组概率都相等的信源进行编码时，可达到理想的编码效率 5.3　哈夫曼编码 哈夫曼编码是一种最佳的逐个符号的编码方法，所得的码是即时码，其平均码长最短，因而是最佳编码 2 进制哈夫曼编码的步骤如下： 哈夫曼编码的特点 概率大的符号安排在离根节点较近的终端节点保证了概率大的符号对应于短码，概率小的符号对应于长码 每次缩减信源的最长两个码字具有相同码长 每次缩减信源的最后两个码字总是最后一位码元不同，前面各位码元相同(2 元码情况) 编码不具有惟一性 哈夫曼编码的非唯一性 每次对缩减信源两个概率最小的符号分配“0”或“1”码元是任意的，所以可得到不同的码字。只要在各次缩减信源中保持码元分配的一致性，即能得到可分离码字 不同的码元分配，得到的具体码字不同，但码长 li 不变，平均码长也不变，所以没有本质区别 缩减信源时，若合并后新符号的概率与其它符号概率相等，从编码方法上来说，这几个符号的次序可任意排列，编出的码都是正确的，但得到的码字不相同。不同的编法得到的码字长度 li 也不尽相同，但平均码长仍不变 对同一信源的多种哈夫曼编码，除了用平均码长来衡量外，当平均码长相同时，可以码长 li 偏离平均码长的方差来判断： 哈夫曼编码的非唯一性（续） 在哈夫曼编码过程中，当缩减信源符号按概率大小，以递减次序自上而下重新排列时，应把合并后的新符号尽量置于缩减信源中具有相同概率的其它符号之上，减少合并后的新符号被重复赋予码元的次数，进而减小码字长度相对于平均码长的摆动 上述方法不会引起平均码长的变化，可以使短码得到充分利用 r 进制哈夫曼编码 r 进制哈夫曼编码(续) 对 r 进制编码，若所有码字构成全树，可分离的码字数必为： 哈夫曼编码的不足 哈夫曼编码的不足(续) 哈夫曼编码的不足(续) 香农码、费诺码和哈夫曼码总结 香农码、费诺码、哈夫曼码都考虑了信源的统计特性，使经常出现的信源符号对应较短的码字，使信源的平均码长缩短，从而实现了对信源的压缩。 香农码编码结果唯一，但在很多情况下编码效率不是很高 费诺码和哈夫曼码的编码方法都不唯一 费诺码比较适合于对分组概率相等或接近的信源编码 哈夫曼码对信源的统计特性没有特殊要求，编码效率比较高，对编码设备的要求也比较简单，因此综合性能优于香农码和费诺码 哈夫曼码通常适用于多元信源，对于二元信源，必须采用合并符号的方法，才能得到较高的编码效率 游程编码概述 香农码、费诺码、哈夫曼码主要是针对无记忆信源；当信源有记忆时上述编码的效率不高 游程编码是一种对相关信源较为有效的扩展符号集的编码方法，是哈夫曼编码的改进和应用，主要用于只有黑、白二值灰度的文件传真，如文件、报纸、表格、手写体字、图纸等 文件传真是把一页文件扫描为 n ? m 个像素。由于黑、白二值文件只有两个灰度值，因此采用 2 进制编码。 如果每一个像素用一位二进制码(0：白色，1：黑色)表示，显然一页文件的码元数就等于该页文件的像素数 例如，参照国际标准，一张 A4 幅面(210 mm ? 297 mm)的二值文件扫描的辨率为：1728像素/行，4行/mm 即一幅 A4 页面共可分为 1188 行，每行 1728 像素。整幅共有 2.05 M 个像素，若用 4800 bit/s 的信息传输率进行传输约需 7.2 分钟，直接传真将需耗费大量的通信时间 游程编码概述(续) 统计表明，此类传真文件黑白两个灰度值出