第5章信息论与编码课件.pdfVIP

第5章 信源编码 编码分为信源编码和信道编码，其中信源编 码又分为无失真和限失真。 一般称 无失真信源编码定理为第一极限定理； 信道编码定理 （包括离散和连续信道）称为第 二极限定理； 限失真信源编码定理称为第三极限定理。 1 第5章 信源编码 由于信源符号之间存在分布不均匀和相 关性，使得信源存在冗余度，信源编码的 主要任务就是减少冗余，提高编码效率。 2 第5章 信源编码 信源编码的基本途径有两个： 使序列中的各个符号尽可能地互相独 立，即解除相关性； 使编码中各个符号出现的概率尽可能地 相等，即概率均匀化。 3 第5章 信源编码 信源编码的基础是信息论中的两个编码定理： 无失真编码定理 限失真编码定理 无失真编码只适用于离散信源 对于连续信源，只能在失真受限制的情况下进 行限失真编码 4 第5章 信源编码 本章讨论离散信源编码，首先从无失 真编码定理出发，重点讨论以香农码、费 诺码和霍夫曼码为代表的最佳无失真码。 然后介绍了限失真编码定理。最后简单介 绍了一些其它常用的信源编码方法。 5 5.1 编码的定义 信源 编码器 信道 码表 图5-1 信源编码器示意图 6 5.1 编码的定义 信源编码是指信源输出符号经信源编码器 编码后转换成另外的压缩符号 无失真信源编码：可精确无失真地复制信 源输出地消息 7 5.1 编码的定义 将信源消息分成若干组，即符号序列x ， i x ＝(x x …x …x ) ， i i1 i2 il iL x ∈A={a ，a ，…，a ，…，a } il 1 2 i n 每个符号序列x 依照固定码表映射成一个码字y ， i i y ＝(y y …y …y ) ， i i1 i2 il iL y ∈B={b ，b ，…，b ，…，b } il 1 2 i m 这样的码称为分组码，有时也叫块码。只有分组码才有对 应的码表，而非分组码中则不存在码表。