2.8 无失真信源编码(1).ppt

* 第二章 基本信息论 §2.8 无失真信源编码(一) §2.8 无失真信源编码(一) 一、引言 四、传输效率与编码效率 二、基本概念 三、码树图 五、编码的一般原则 六、范诺(Fano)编码 七、霍夫曼(Huffman)编码 八、N 次扩展编码 1. 信源编码的主要任务 使信源消息符号与信道能够传输的(数字)符号相匹配。 一、引言 变换 压缩 具体地说，通过变换使信源符号与(数字)代码相对应。 (汉字的区位码、四角号码) 提高有效性或传输效率， 信道传输时，尽可能充分地利用信道容量。 使编码后的(数字)代码经过 2. 信源编码的分类 仅对信源的冗余度(或剩余度)进行压缩。 允许在一定的失真限制条件下对信源进行压缩。 一、引言 必须是可逆的，即信源符号可由代码完全恢复。 本节仅讨论无失真编码，重点介绍范诺码和霍夫曼码。 无失真编码 限失真编码 不改变信源熵，即信源的信息完全被保留。 将会降低信源熵，即信源的信息被部分丧失。 二、基本概念 1. 编码器 消息符号集 基本符号集 (码元，生成 m 元代码) 比如 码元 生成二元代码； 码元 生成三元代码。 (已知概率分布 ) 消息符号集 X 基本符号集 A 编码器 (数字)代码集 W P69 二、基本概念 1. 编码器 (数字)代码集 (码字) 编码 1 - 1 对应 其中， 称为码长； 称为平均码长。 注 (1) 本教材仅考虑二元代码； (2) 每个码元占用的时间相等(称为同价码)。 (码字集合) 消息符号 0 10 110 1110 码字4 0 01 011 0111 码字3 0 1 10 11 码字2 00 01 10 11 码字1 0.4 0.3 0.2 0.1 概率 x1 x2 x3 x4 消息 0 10 110 111 码字5 例如 消息符号集 对应的几种码字集合。 等长 变长 变长 变长 变长 单义 非单义 单义 单义 单义 即时 非即时 即时 即时 非续长 非续长 非续长 (最佳?) 描述及 评价指标 等长码 码字集合中所有码字的长度都相同。 变长码 码字集合中的码字长度不相同。 2. 等长码与变长码 如果码字的长度为N， 则能够选择的不同码字的个数为 2N。 二、基本概念 优点 编码与译码简单； 缺点 不能提高(编码或者传输)效率。 优点 能够提高(编码或者传输)效率； 缺点 编码与译码复杂。 P70 3. 单义码 对于一个码字集合，若存在一种译码方法，使得由任意 若干个码字所组成的码元序列只能唯一地被分割成单个 码字，则称该码字集合为单义码，又称为唯一可译码 。 二、基本概念 定义 引例 符号集 对应的码字集为 收到二元序列 译出消息序列 P70 单义码存在的充要条件 其中，n 为信源符号数； li 为各个码字的长度。 3. 单义码 二、基本概念 对于 m 元代码，存在单义码的充要条件为 定理 克劳夫特(Kraft)不等式 Kraft 不等式只是用来说明唯一可译码是否存在，并不能 注 作为唯一可译码的判据。 P71 因此不存在满足这种码长的单义码。 例如 设二元码字集合 (1) 若码长分别为 则 因此一定存在满足这种码长的单义码。 (2) 若码长分别为 则 (等长码) 例如 设二元码字集合 因此一定存在满足这种码长的单义码。 (3) 若码长分别为 则 比如 { 0，10，110，1110 } 是单义码； 但是不能作为单义码的判据， { 0，10，010，1110 } 不是单义码。 4. 非即时码和即时码 二、基本概念 引例 已知消息符号集 对应的码字集为 (单义码) 首先收到 0，被译成 x1； 接着收到 1，被改译成 x2； 接着又收到 1，再被改译成 x3； 直到收到 0，才最后确定前面的码字应译成 x3。 当对二元序列 0 1 1 0 1 进行接收并译码时， 而码字集 不会出现这种情况。 补 4. 非即时码和即时码 二、基本概念 定义 如果接收到一个完整的码字后，不能立即(正确)译码， 还需等下一个码元收到后才能判断是否可以译码， 称这样的码集为非即时码； 如果只要收到的码字已完整，就可以立即(正确)译码， 则称这样的码集为即时码。 则 5. 非续长码和续长码 二、基本概念 定义 如果码字集合中任何一个码字都不是另外一个码字 的续长，则称这样的码字集合为非续长码； 为续长码。 例如 续长码： 非续长码： 否则称 P71 5. 非续长码和续长码 二、基本概念 结论 非续长码 单义码； 非续长码 即时码。 目标 构造非续长码。 问题 (1) 如何判别非续长码？ (2) 如何构造非续长码？ (3) 收到码元序列后，如何译码？ 否则称为非整树。 三、码树图 1. 二叉树(二进