第四章 离散信源编码.ppt

第四章 离散信源编码 2.信源编码器的主要任务：完成输入消息集合与输出代码的集合之间的映射。 信源编码的 3 个基本要求 ①选择合适的信道基本符号　　 使输出代码能适应于信道。 　　　（考虑信道的信源编码： 如信源信道联合编码） ②有效的编码方法　　　使得信源发出消息 输出代码组 ③编码方法应满足：消息集合与代码组集合一一对应。 　　 3. 正规编码：满足 “信源编码的 3个基本要求” 的编码 非奇异码：正规编码得到的码 正规编码举例 举例：汉字编码 汉字 　　　 电码　　　　 　 二进制码字组 信息论 　　（0207）、（1873）、（6158） 　　　　 　 01101　11001　01101　11100 每个汉字20bits，5bits等重码组，码字中1的个数相同。 0 01101, 1 01011, 2 11001, 3 10110, 4 11010, 5 00111, 6 10101, 7 11100, 8 01110, 9 10011. 4. 信源编码的目的 (1) 把信源发出的信息一一对应地变换维信道 基本符合构成的代码组 (2) 尽可能减小代码组的平均长度. 编码效率 第4.2节 信息传输速率和编码效率 1.信源编码的信息传输速率(信息率)R： 单位时间内所包含的信息量 (1) 等长码的信息传输速率 R (2)变长码的信息传输速率 变长码的平均长度为: 码元/符号 信息传输速率为： K重扩展信源: 2. 编码效率 (1)信道容量C： 消息不失真传输下，信道允许的最大信息传输速率 信道编码目标：使代码组的长度与信源中各个消息的概率分布达到统计匹配，即 使得信息传输速率 最接近信道容量 (2)信源编码器的编码效率 编码效率η η 1：最佳编码 3.最佳编码的两原则 (1)对信源中出现概率大的消息(或符号)，尽可能用短的代码组来表示，即短码; 反之，用长码。 (2)不使用间隔, 采用可区分码字 信源： 输出代码组： 若 则 最短！ 第4.3节 单义可译定理 1.单义可译码: 对于一个有限长度的信源消息序列，若编码得到的码字序列不与其他任何信源序列所对应的码字相同 当信源消息序列不同 对应的编码得到的码字序列必然不同 逗点码(comma code) （书上59页，例4.2） 即时码(instantaneous code) 译码时不需要考察后续码元 单义可译码 逗点码： (例4.2) 1 0 1 0 1 0 1 0 1 0 1 2.即时码的构造(充分必要条件) 设 是码 中的任一码字， 则 为即时码的充分必要条件为： 对于任意的 m k， 任意的 不是 的前缀. 即 的任何一个码子不是另一个码子的前缀 3. 单义可译定理 信源消息集合 信道基本符号的种类为 D 码子集合为 码长集合为 即时码存在定理： Kraft不等式 书上举例 62页 例4.4 存在即时码. 简单地说 4.平均码长界定 无失真信源编码. 单一可译码 下界 若 D 给定，给定信源 ( )，则