信息论：第5章无失真信源编码定理.pptVIP

第5章 无失真信源编码定理 定义熵的相对率----一个信源实际的信息熵与具有同样符号集的最大熵的比值。 信源编码的基本途径有两个: 一是编码后使序列中的各个符号之间尽可能地 互相独立，即解除相关性----方法包括预测编 码和变换编码。 二是使编码后各个符号出现的概率尽可能相等，即均匀化分布----方法主要是统计编码。 信源编码常分为无失真信源编码和限失真信源编码， 前者主要用于文字、数据信源的压缩; 后者主要用于图像、语音信源的压缩。 无失真编码 无失真编码是可逆编码的基础。 可逆是指当信源符号转换成代码后，可从代码无失真地恢复原信源符号。 当已知信源符号的概率特性时，可讨论它的符号熵H，这表示每个信源符号所载有的信息量。 编码定理不但证明了必然存在一种编码方法，使代码的平均长度可任意接近但不能低于符号熵，而且还阐明了达到这目标的途径，就是使概率与码长匹配。 无失真编码或可逆编码只适用于离散信源。离散信源的无失真信源编码实质上是一种概率匹配编码。它还可以进一步分为无记忆与有记忆两类信源的概率匹配编码。而从编码本身的构造可以分为等长码、不等长码、分组码和非分组码。 限失真编码 对连续信源而言，信源输出的信息量是无限大，编成代码后就无法无失真地