5信源编码 信息论与编码 教学课件.ppt

第5章 信源编码 通信的根本问题是如何将信源输出的信息在接收端（信宿）精确地或近似地复制出来。 前面的章节介绍了信源熵的概念，知道了传送信源信息只需要具有信源极限熵或在限失真条件下的信息率失真函数大小的信息率。 但是在实际通信系统中，用来传送信源信息的信息率远大于极限熵。 将信源信息通过信道传送给信宿，怎样才能做到尽可能不失真而又快速呢？ 这就需要解决两个问题：第一，在不失真或允许一定失真的条件下，如何用尽可能少的符号来传送信源信息；第二，在信道受干扰的情况下，如何增加信号的抗干扰能力，同时又使得信息传输率最大。 为了解决这两个问题，就要引入信源编码和信道编码。 其中，信源编码又分为无失真信源编码和限失真信源编码。 由于这些定理都要求符号数很大才能使它的值接近所规定的值，因而这些定理被称为极限定理。一般地： 无失真信源编码定理称为第一极限定理； 信道编码定理(包括离散和连续信道)称为第二极限定理； 限失真信源编码定理称为第三极限定理。 这些定理的完善化，是香农信息论的主要内容。 由于信源符号之间存在分布不均匀和相关性，使得信源存在冗余度，信源编码的主要任务就是减少冗余，提高编码效率。具体说，就是针对信源输出符号序列的统计特性，寻找一定的方法把信源输出符号序列变换为最短的码字序列。 相应地，信源编码的基本途径有两个，一是使序列中的各个符号尽可能地互相独立，即解除相关性（例