[理学]第5章信源编码.ppt

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 第5章　信源编码 由于信源符号之间存在分布不均匀和相关性，使得信源存在冗余度，信源编码的主要任务就是减少冗余，提高编码效率。 第5章　信源编码 编码分为信源编码和信道编码，其中信源编码又分为无失真和限失真。 一般称 无失真信源编码定理为第一极限定理； 信道编码定理（包括离散和连续信道）称为第 二极限定理； 限失真信源编码定理称为第三极限定理。 第5章　信源编码 信源编码的基本途径有两个： 使序列中的各个符号尽可能地互相独立，即解除相关性； 使编码中各个符号出现的概率尽可能地相等，即概率均匀化。 第5章　信源编码 信源编码的基础是信息论中的两个编码定理： 无失真编码定理 限失真编码定理 无失真编码只适用于离散信源 对于连续信源，只能在失真受限制的情况下进行限失真编码 第5章　信源编码 本章讨论离散信源编码，首先从无失真编码定理出发，重点讨论以香农码、费诺码和霍夫曼码为代表的最佳无失真码。然后介绍了限失真编码定理。最后简单介绍了一些其它常用的信源编码方法。 5.1 编码的定义 信源编码是指信源输出符号经信源编码器编码后转换成另外的压缩符号 无失真信源编码：可精确无失真地复制信源输出地消息 5.1 编码的定义 将信源消息分成若干组，即符号序列xi， xi＝(xi1xi2…xil…xiL)， xil?A={a1，a2，…，ai，…，an} 每个符号序列xi依照固定码表映射成一个码字yi， yi＝(yi1yi2…yil…yiL)， yil?B={b1，b2，…，bi，…，bm} 这样的码称为分组码，有时也叫块码。只有分组码才有对应的码表，而非分组码中则不存在码表。 5.1 编码的定义 如果信源输出符号序列长度L＝1，信源符号集A(a1，a2，…，an) 信源概率空间为 5.1 编码的定义 码可分为两类： 一、固定长度的码，码中所有码字的长度 都相同，如表5-1中的码1就是定长码 二、可变长度码，码中的码字长短不一，如表中码2就是变长码。 5.1 编码的定义 （1）奇异码和非奇异码 若信源符号和码字是一一对应的，则该码为非奇异码。反之为奇异码。 5.1 编码的定义 5.1 编码的定义 （2）唯一可译码 任意有限长的码元序列，只能被唯一地分割成一个个的码字，便称为唯一可译码 例:W1=(1,01,00) ,如码字序只可唯一划分为1,00,01,1,01; 反之,W2=(0,10,01) 如序列01001可划分为 0,10,01或01,0,01. 5.1 编码的定义 唯一可译码中又分为非即时码和即时码：如果接收端收到一个完整的码字后，不能立即译码，还需等下一个码字开始接收后才能判断是否可以译码，这样的码叫做非即时码。 5.1 编码的定义 即时码：只要收到符号就表示该码字已完整，可以立即译码。 即时码又称为非延长码，任意一个码字都不是其它码字的前缀部分，有时叫做异前缀码。 非即时码和即时码 5.1 编码的定义 5.1 编码的定义-码树 通常可用码树来表示各码字的构成 码树 5.1 编码的定义-克劳夫特不等式 唯一可译码存在的充分和必要条件 各码字的长度Ki 应符合克劳夫特不等式： 唯一可译码的判断法首先观察是否是非奇异码.若是奇异码,肯定不是唯一可译码;其次,计算是否满足Kraft不等式.若不满足一定不是唯一可译码;然后将码画成一棵树图,观察是否满足异前置码的树图的构造,若满足则是唯一可译码. 5.1 编码的定义 例：设二进制码树中X (a1， a2 ， a3 ， a4 )，K1＝1，K2＝2，K3＝2，K4＝3，应用上述判断定理： 5.1 编码的定义 5.1 编码的定义 克劳夫特不等式只是用来说明唯一可译码是否存在，并不能作为唯一可译码的判据。 A.A.Sardinas和G.W.Patterson算法步骤 计算分组码中所有可能的尾随后缀集合A,观察A中有没有包含任一码字，若无则为唯一可译码；若有则一定不是唯一可译码。 集合A的构造： 首先观察码C中最短的码字是否是其它码字的前缀。若是，将其所有可能的尾随后缀排列出。而这些尾随后缀又可能是某些码字的前缀，再将由这些尾随后缀产生的新的尾随后缀列出。 然后再观察这些新的尾随后缀是否是某些码字的前缀，再将产生的尾随后缀列出。这样，首先获得由最短的码字能引起的所有尾随后缀。 接着，按照上述将次短的码字…等等，所有码字可能产生的尾随后缀全部列出。由此得到码C的所有可能的尾随后缀组成的集合A。 例：