第五章无失真信源编码.ppt

第五章 无失真信源编码 信源的主要问题： 信源的描述（数学建模）； 信源输出信息能力的定量分析（信源熵）； 信源信息的有效表示（信源编码）。 第五章 无失真信源编码 信源编码 将信源的输出进行适当的变换，以提高信息传输的有效性。 提高信源有效性的方法 1）减小信源符号间的相关性； 2）使信源输出消息等概分布。 信源编码的基本途径 1）使编码后序列中的各个符号之间尽可能地互相独立，即解除相关性----方法包括：预测编码和变换编码； 2）使编码后各个符号出现的概率尽可能相等，即均匀化分布----方法：主要是统计编码。 第五章 无失真信源编码 5.1 信源编码的相关概念 5.2 定长码及定长信源编码定理 5.3 变长码及变长信源编码定理 5.4 变长码的编码方法 5.5 实用的无失真信源编码方法 5.1 信源编码的相关概念 5.1.1 编码器 5.1.2 信源编码的分类 5.1.3 码树（树图） 5.1.1 编码器 编码器模型 输入：信源符号 各元素取自信源符号集 X：码符号集 编码器所用的编码符号集，包含r个元素。 输出：码字（即码元序列，或码符号序列） 码字与信源符号一一对应； 码（码字的集合）与信源符号集相对应；即： 5.1.1 编码器 码字中各元素取自码符号集X，即： ， 其中， 为码字长度，简称码长。 各码字的码长不一定相等。 编码器功能： 将信源符号集中的信源符号 （或长为N的信源符号序列 ）变成由码符号 组成的长为 的与信源符号一一对应的码字 。即 : 5.1.2 码的分类 等长码（定长码）、变长码 定长码 所有码字的长度都相等的码称为等长码。即： 变长码 码字长度各不相同的码称为变长码。 5.1.2 码的分类 同价码 若码符号集 中每个码符号 所占的传输时间都相同，则所得的码为同价码。 对同价码来说： 等长码中每个码字的传输时间相同； 变长码中每个码字的传输时间就不一定相同。 二元码、r元码 二元码 码符号集为： ，编码所得码字为适合在二元信道传输的二元序列，则称二元码。 r元码 若码符号集共有r 个元素，则所得之码称为r元码。 5.1.2 码的分类 N次扩展码 假定把信源 中的符号变换成码 中的码字，则N次扩展信源 对应N次扩展码 。 即：码C的N次扩展码是所有N个码字组成的码字序列的集合。 5.1.2 码的分类 分组码、非分组码 将信源符号集中的每个信源符号 固定地映射成一个码字 ，这样的码称为分组码（块码）。 与分组码对应的是非分组码（树码）。 树码编码器输出的码符号通常与所有信源符号都有关。 5.1.2 码的分类 分组码分类 非奇异码、奇异码 若一种分组码中的所有码字都不相同，则称此分组码为非奇异码，否则称为奇异码。 5.1.2 码的分类 唯一可译码、非唯一可译码 任意有限长的码元序列，如果只能唯一地分割成一个个码字，便称为唯一可译码。否则，即为非唯一可译码。 举例： 5.1.2 码的分类 唯一可译码（物理含义）： 要求不同的码字表示不同的信源符号； 要求对由信源符号构成的符号序列进行编码时，在接收端仍能正确译码而不发生混淆。 唯一可译码与非奇异码的关系： 唯一可译码一定是非奇异码； 非奇异码不一定是唯一可译码。 即时码、非即时码 即时码和非即时码均为唯一可译码。 即时码（非延长码）： 无须考虑后续的码符号就可以从码符号序列中译出码字 的唯一可译码为即时码。 5.1.2 码的分类 接收到一个完整码字后可以直接进行译码。 非即时码： 接收到一个码字后不能直接译码，还须等到下一个码字 接收到才能判断是否可以译码。 5.1.2 码的分类 唯一可译码成为即时码的条件： 设 为一码字，对于任意的 ，称码 符号序列的前j个元素 为码字的前缀。 定理： 一个唯一可译码成为即时码的充要条件是其中任何一个 码字都不是其他码字的前缀。 5.1.2 码的分类（总结） 综上所述，将码作如下分类： 5.1.3 树图（码树） 树图 5.1.3 树图（码树） 根节点 终端节点 编码时常使用终端节点 中间节点 码符号数 5.1.3 树图（码树） 根节点 终端节点 编码时常使用终端节点 中间节点 码符号数 n阶节点 n阶节点最多有 个。 整树（满树） 若树码的各个分支都延伸到最后一级端点。 非整树