无失真信源编码定理和信息处理.pptVIP

第5章 无失真信源编码定理 定义熵的相对率----一个信源实际的信息熵与具有同样符号集的最大熵的比值。 信源编码的基本途径有两个: 一是编码后使序列中的各个符号之间尽可能地 互相独立，即解除相关性----方法包括预测编 码和变换编码。 二是使编码后各个符号出现的概率尽可能相等，即均匀化分布----方法主要是统计编码。 信源编码常分为无失真信源编码和限失真信源编码， 前者主要用于文字、数据信源的压缩; 后者主要用于图像、语音信源的压缩。 无失真编码 无失真编码是可逆编码的基础。 可逆是指当信源符号转换成代码后，可从代码无失真地恢复原信源符号。 当已知信源符号的概率特性时，可讨论它的符号熵H，这表示每个信源符号所载有的信息量。 编码定理不但证明了必然存在一种编码方法，使代码的平均长度可任意接近但不能低于符号熵，而且还阐明了达到这目标的途径，就是使概率与码长匹配。 无失真编码或可逆编码只适用于离散信源。离散信源的无失真信源编码实质上是一种概率匹配编码。它还可以进一步分为无记忆与有记忆两类信源的概率匹配编码。而从编码本身的构造可以分为等长码、不等长码、分组码和非分组码。 限失真编码 对连续信源而言，信源输出的信息量是无限大，编成代码后就无法无失真地恢复原来的连续值，因为取值可有无限多个， 因此是不可能实现无失真信源编码的。此时只能根据限失真编码定理进行限失真编码。 有时，接收端并不要求完全精确地恢复信源输出的信息，比如允许产生一定程度的失真，这是符合大多数实际情况的。因为在很多实际问题中，精确复制既无可能，也无必要。连续信源就属这一类，而且由于实际信道总是存在干扰，同时信宿不论是人还是机器都存在一定的灵敏度和分辨力。 超过信宿的灵敏度和分辨力所传送的信息是毫无意义的，也是完全没有必要的。 比如话声信源，界别过多的划分，人耳就很难分辨。图像信源亦是如此，人们看电影，当图片超过每秒25张以上时，人眼就能将离散的照片在人脑内反映成连续画面。 此时，就应该引入限定失真条件下的信源编码问题 。 5.1 编码器 编码实质上是对信源的原始符号按一定的数学规则进行的一种变换。 为了分析方便和突出问题的重点，当研究信源编码时，我们把信道编码和译码看成是信道的一部分，从而突出信源编码。同样，在研究信道编码时，可以将信源编码和译码看成是信源和信宿的一部分，从而突出信道编码。 一、编码器模型 由于信源编码可以不考虑抗干扰问题，所以它的数学模型比较简单。 输入是信源符号集: x为编码器所用的编码符号集，包含r个元素{ }，称为码符号(码元) 。 由码符号 组成的输出序列 称为码字。 其长度 称为码字长度或码长，全体码字 的集合C称为码或码书 。 二、码的分类 对于编码器而言，根据码符号集合X中码元的个数不同以及码字长度是否一致，有以下一些常用的编码形式： (2) 等长码 若一组码中所有码字的长度都相同----（即 ），则称为等长码。 (3) 变长码 若一组码中码字的码长各不相同（即码字长度 不等），则称为变长码 。 如表中“编码1”为等长码，“编码2”为变长码。 (4)非奇异码 若一组码中所有码字都不相同(即所有信源符号映射到不同的码符号序列)，则称为非奇异码。 则称码C为非奇异码。 （5）奇异码 若一组码中有相同的码字，则为奇异码。 则称码C为奇异码。 （6）同价码 若码符号集X：{ }中每个码符号所占的传输时间都相同，则所得的码为同价码。 我们一般讨论同价码，对同价码来说等长码中每个码字的传输时间相同，而变长码中每个码字的传输时间就不一定相同。 如：电报中常用的莫尔斯码是非同价码，其码符号点（.）和划（-）所占的传输时间不相同。 （7）码的N次扩展码 假定某码C，它把信源 中的符号 一一变换成码C中的码字 ，则码C的N次扩展码是所有N个码字组成的码字序列的集合。