信源编码-1.ppt

信源编码 第5章 前 言 前面介绍了信源熵和信息率失真函数的概念，弄清了传送信源信息只需要具有信源极限熵或信息率失真函数大小的信息率。 但在实际通信系统中，用来传送信源信息的信息率远大于这些，那么能否达到或接近像信源熵或率失真函数这样的最小信息率呢，这就是编码定理要回答的问题之一。 前 言 前 言 信源编码: 将信源输出符号,经信源编码器后变换成另外的压缩符号,然后将压缩后信息经信道传送给信宿 信源符号之间存在分布不均匀和相关性,使得信源存在冗余度,信源编码的主要任务就是减少冗余,提高编码效率。 针对信源输出符号序列的统计特性,寻找一定的方法把信源输出符号序列变换为最短的码字序列。 前 言 信源编码的基本途径 —使序列中的各个符号尽可能地相互独立，即解除相关性； —使编码中各个符号出现的概率尽可能地相等，即概率均匀化。 信源编码的基础是信息论中的两个编码定理：无失真编码定理和限失真编码定理，前者是可逆编码的基础。可逆是指当信源符号转换成代码后，可从代码无失真地恢复原信源符号。 当已知信源符号的概率特性时，可计算它的符号熵，这表示每个信源符号所载有的信息量。 前 言 编码定理证明了: 必存在一种编码方法,使代码的平均长度可任意接近但不能低于符号熵; 达到这目标的途径就是使概率与码长匹配。 统计匹配编码： 根据信源的不同概率分布而选用与之匹配的编码，以达到在系统中传信速率最小。 前 言 无失真编码或可逆编码只适用于离散信源。对于连续信源，编成代码后就无法无失真地恢复原来的连续值，因为后者的取值可有无限多个。此时只能根据率失真编码定理在失真受限制的情况下进行限失真编码。信源编码定理出现后，编码方法就趋于合理化。 前 言 本章将讨论离散信源编码，首先从无失真编码定理出发，重点讨论以香农码、费诺码和哈夫曼码为代表的最佳无失真码。然后介绍限失真编码定理。最后简单介绍一些其它常用的信源编码方法。 5.1 编码的定义 5.2 无失真信源编码 5.3 限失真信源编码 5.4 常用信源编码方法简介 编码的定义 信源编码是指信源输出符号经信源编码器编码后转换成另外的压缩符号。 无失真信源编码：可精确无失真地复制信源输出的消息。 编码的定义 将信源消息分成若干组，即符号序列xi， xi＝(xi1xi2…xil…xiL)， xil?A={a1,a2,…,ai,…,an} 每个符号序列xi依照固定码表映射成一个码字yi， yi＝(yi1yi2…yil…yiL)， yil?B={b1,b2,…,bi,…,bm} 这样的码称为分组码，有时也叫块码。 只有分组码才有对应的码表，而非分组码中则不存在码表。 编码的定义 如图5-1所示，如果信源输出符号序列长度L＝1，信源符号集A?(a1，a2，…，an) 信源概率空间为 编码的定义 码的分类： 等长码(定长码)：码中所有码字的长度都相同，如上表中码0； 变长码：码中的码字长短不一，如上表中码1、2、3、4。 编码的定义 采用分组编码方法，需要分组码具有某些属性，以保证在接收端能够迅速准确地将码译出。 分组码的属性： 非奇异码：信源符号与码字是一一对应的，码0； 奇异码：信源符号与码字不是一一对应的，码1； 唯一可译码： 任意有限长的码元序列,只能被唯一地分割成一个个的码字。 例：{0,10,11}是一种唯一可译码。因为任意一串有限长码序列,如100111000,只能被分割成10,0,11,10,0,0。任何其他分割法都会产生一些非定义的码字。对于码表{0,10,11}而言。 编码的定义 奇异码不是唯一可译码 如码1 {0,11,00,11} 由(11,00,0,11,0)产生，也可由(11,0,00,11,0)产生。 非奇异码 唯一可译码 — 码3 非唯一可译码 — 码2 由码2的(10,0,0,01,00)产生的码流，译码时可有多种分割方法，如10,0,00,10,0，此时就产生了歧义。 编码的定义 唯一可译码 ：分为非即时码和即时码。 非即时码： 如果接收端收到一个完整的码字后不能立即译码,还需等下一个码字开始接收后才能判断是否可以译码，如码3。 即时码： (非延长码) (异前缀码) 在译码时无需参考后续的码符号就能立即作出判断,译成对应的信源符号。如码4。 任意一个码字都不是其它码字的前缀部分 在延长码中,有的码是唯一可译的,取决于码的总体结构，如码3 的延长码就是唯一可译的。 编码的定义 码 即时码及其树图构造法 即时码（非延长码或异前缀码）是唯一可译码