05无失真信源编码.pdf

第5章无失真信源编码 主要内容 5.1 信源编码的相关概念 5.2 定长码及定长编码定理 5.3 变长码及变长编码定理 5.4 变长码的编码方法 5.5 实用的无失真信源码方法 2 信源编码  通信的实质是信息的传输。  高效率、高质量地传送信息却又是信息传输的基本 问题！  这就需要解决两个问题：  第一，在不失真或允许一定失真的条件下，如何用尽可 能少的符号来传送信源信息；  第二，在信道受干扰的情况下，如何增加信号的抗干扰 能力，同时又使得信息传输率最大。  为了解决这两个问题，就要引入信源编码和信道 编码。 3 信源编码  一般来说，抗干扰能力与信息传输率二者相互矛盾 。然而编码定理已从理论上证明，至少存在某种最佳 的编码能够解决上述矛盾，做到既可靠又有效地传输 信息。  信源虽然多种多样，但无论是哪种类型的信源，信 源符号之间总存在相关性和分布的不均匀性，使得信 源存在冗余度。信源编码的目的就是要减少冗余，提 高编码效率。 4 5 信源编码 一般地：  无失真信源编码定理称为第一极限定理；  信道编码定理(包括离散和连续信道)称为第二极限定理 ；  限失真信源编码定理称为第三极限定理。 这些定理的完善化，是香农信息论的主要内容。 6 信源编码 由于信源符号之间存在分布不均匀和相关性，使得信源 存在冗余度，信源编码的主要任务就是减少冗余，提高编 码效率。  具体说，就是针对信源输出符号序列的统计特性，寻找 一定的方法把信源输出符号序列变换为最短的码字序列。 信源编码的基本途径有两个: 一是编码后使序列中的各个符号之间尽可能地互相独立，即解 除相关性方法包括预测编码和变换编码 二是使编码后各个符号出现的概率尽可能相等，即均匀化分布- 方法主要是统计编码 7 信源编码  信源编码常分为无失真信源编码和限失真信源编码， 前者主要用于文字、数据信源的压缩; 后者主要用于图像、语音信源的压缩。  由于这些定理都要求符号数很大才能使它的值接近所 规定的值，因而这些定理被称为极限定理。  无失真编码是可逆编码的基础。  可逆是指当信源符号转换成代码后，可从代码无失真地恢 复原信源符号。当已知信源符号的概率特性时，可讨论它 的符号熵H，这表示每个信源符号所载有的信息量。 8 无失真编码  编码定理不但证明了必然存在一种编码方法，使代码 的平均长度可任意接近但不能低于符号熵，而且还阐 明了达到这目标的途径，就是使概率与码长匹