信息论与编码5信源编码讲述.ppt

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 第5章　信源编码 编码分为信源编码和信道编码，其中信源编码又分为无失真和限失真。 一般称 无失真信源编码定理为第一极限定理； 信道编码定理（包括离散和连续信道）称为第 二极限定理； 限失真信源编码定理称为第三极限定理。 第5章　信源编码 由于信源符号之间存在分布不均匀和相关性，使得信源存在冗余度，信源编码的主要任务就是减少冗余，提高编码效率。 第5章　信源编码 信源编码的基本途径有两个： 使序列中的各个符号尽可能地互相独立，即解除相关性； 使编码中各个符号出现的概率尽可能地相等，即概率均匀化。 第5章　信源编码 信源编码的基础是信息论中的两个编码定理： 无失真编码定理 限失真编码定理 无失真编码只适用于离散信源 对于连续信源，只能在失真受限制的情况下进行限失真编码 第5章　信源编码 本章讨论离散信源编码，首先从无失真编码定理出发，重点讨论以香农码、费诺码和霍夫曼码为代表的最佳无失真码。然后介绍了限失真编码定理。最后简单介绍了一些其它常用的信源编码方法。 5.1 编码的定义 5.1 编码的定义 信源编码是指信源输出符号经信源编码器编码后转换成另外的压缩符号 无失真信源编码：可精确无失真地复制信源输出地消息 5.1 编码的定义 将信源消息分成若干组，即符号序列xi，