第4章 无失真信源编码-第9讲.pptVIP

第4章 无失真信源编码 第一节 编码的定义 引言 编码分为信源编码和信道编码，其中信源编码又分为无失真信源编码和限失真信源编码。 无失真信源编码：适用于离散信源或数字 信号。 限失真信源编码：主要用于连续信源或模拟信号，如语音、图像等信号的数字处理。 香农信息论三大定理 : 1. 第一极限定理:无失真信源编码定理. 第二极限定理: 信道编码定理（包括离 散和连续信道）. 3. 第三极限定理: 限失真信源编码定理. 信源编码的主要任务是什么? 由于信源符号之间存在分布不均匀和相关性，使得信源存在冗余度，信源编码的主要任务就是减少冗余，提高编码效率。具体说，就是针对信源输出符号序列的统计特性，寻找一定的方法把信源输出符号序列变换为最短的码字序列。 信源编码的基本途径 是什么? 信源编码的基本途径有两个，一是使序列中的各个符号尽可能地互相独立，即解除相关性；二是使编码中各个符号出现的概率尽可能地相等，即概率均匀化。 编码定理证明： （1）必存在一种编码方法，使代码的平均长度可任意接近但不能低于符号熵 （2）达到这目标的途径，就是使概率与码长匹配。 第一节 编码的定义 什么分组码？ 设: 信源消息为符号序列Xi， ， 序列中的每个符号取自