信息论与编码2014-ch5.ppt

第五章 信源编码 信息通过信道传输到信宿的过程即为通信。要做到既不失真又快速地通信，需要解决两个问题： 在不失真或允许一定失真条件下，如何提高信息传输速度----这是本章要讨论的信源编码问题. 在信道受到干扰的情况下，如何增加信号的抗干扰能力，同时又使得信息传输率最大----这是下章要讨论的信道编码问题. 第5章 信源编码 5.1 信源编码的相关概念 5.1.1 码的分类 5.1.2 码树 5.1.3 克劳夫特不等式 5.2 无失真信源编码 5.2.1 定长编码定理 5.2.2 变长编码定理 5.2.3 最佳变长编码 5.3 限失真信源编码定理 5.4 常用信源编码方法简介 编码器 例 第5章 信源编码 5.1 信源编码的相关概念 5.1.1 码的分类 5.1.2 码树 5.1.3 克劳夫特不等式 5.2 无失真信源编码 5.2.1 定长编码定理 5.2.2 变长编码定理 5.2.3 最佳变长编码 5.3 限失真信源编码定理 5.4 常用信源编码方法简介 二元码和r元码 对于编码器而言，根据码符号集合X中码元的个数不同可分为：二元码和r元码 。 若码符号集X={0,1} ，编码所得码字为一些适合在二元信道中传输的二元序列，则称二元码。（二元码是数字通信与计算机系统中最常用的一种码）。 若码符号集共有 r 个元素，则所得之码称为 r 元码。 分组码 若每个信源符号按照固定的码表映射成一个码字，则称为分组码。否则就是非分组码. 如果采用分组编码方法，需要分组码具有某些属性，以保证在接收端能够迅速而准确地将接收到的码译成与信源符号对应的消息。 下面讨论分组码的一些直观属性。 编码 ---- 示例 例:设有二元信道的信源编码器,其信源概率空间为 分组码属性 ---- 示例 定长码和变长码 根据码长的不同，可将码分为两类： 定长码 码中所有码字的长度都相同 变长码 码字长短不一，即码符号个数不同 定长码和变长码 码的属性1. 奇异性 根据信源符号与码字是否一一对应，可以分为两类： 非奇异码 一组码中所有码字都不相同，即各信源符号映射到不同的码符号序列。 奇异码 一组码中有相同的码字 码的属性1. 奇异性 例 码的属性2. 唯一可译性 非奇异码又可分为唯一可译码和非唯一可译码。 若任意有限长的码元序列，只能被唯一地分割成一个个的码字，便称为唯一可译码。 码的属性2. 唯一可译性 例 码的属性2. 唯一可译性 例 码的属性2. 唯一可译性 例 码的属性3. 即时性 唯一可译码又可分为即时码和非即时码。 在接收到一个完整的码字时无需参考后续的码符号就能立即译码，则称此码为即时码（非延长码），否则则为非即时码。 码的属性3. 即时性 -- -- 判断关键 关键：对即时码而言，在码书中任意一个码字都不是其他码字的前缀。 码的分类 ---- 总结 第5章 信源编码 5.1 信源编码的相关概念 5.1.1 码的分类 5.1.2 码树 5.1.3 克劳夫特不等式 5.2 无失真信源编码 5.2.1 定长编码定理 5.2.2 变长编码定理 5.2.3 最佳变长编码 5.3 限失真信源编码定理 5.4 常用信源编码方法简介 码树 对于给定码字的全体集合，可以用码树来直观描述。对于r进制的码树，如下图所示 第5章 信源编码 5.1 信源编码的相关概念 5.1.1 码的分类 5.1.2 码树 5.1.3 克劳夫特不等式 5.2 无失真信源编码 5.2.1 定长编码定理 5.2.2 变长编码定理 5.2.3 最佳变长编码 5.3 限失真信源编码定理 5.4 常用信源编码方法简介 引入 ---- 无失真编码要求 要求1： 变长码要满足唯一可译码的条件，它必须是非奇异码； 要求2： 为了能够即时译码，变长码必须是即时码。 克劳夫特不等式 ---- 定义 唯一可译码存在的充分和必要条件：即各码字的长度Ki 应符合克劳夫特（Kraft）不等式，即 克劳夫特不等式 ---- 说明 克劳夫特不等式是存在性定理，是判断唯一可译码是否存在的充要条件，而不是判断某一码是否为唯一可译码的充要条件。 克劳夫特不等式 例1 利用Kraft不等式判断下列码是否为唯一可译码？ 码1：0，10，11，01 码2：1，01，011，0001 码3：1，01，001