chap5信息论与编码技术课件 信源编码.pdf

第五章 信源编码 • 信息通过信道传输到信宿的过程即为通信。 要做到既不失真又快速地通信，需要解决两 个问题： – 在不失真或允许一定失真条件下，如何提高 信息传输速度这是本章要讨论的信源编码 问题. – 在信道受到干扰的情况下，如何增加信号的 抗干扰能力，同时又使得信息传输率最大 这是下章要讨论的信道编码问题. • 一般来说，抗干扰能与信息传输率二者相互矛 盾。然而编码定理已从理论上证明，至少存在 某种最佳的编码能够解决上述矛盾，做到既可 靠又有效地传输信息。 • 信源虽然多种多样，但无论是哪种类型的信 源，信源符号之间总存在相关性和分布的不均 匀性，使得信源存在冗余度。信源编码的目的 就是要减少冗余，提高编码效率。 • 信源编码的基本途径有两个: – 一是编码后使序列中的各个符号之间尽可能地 互相独立，即解除相关性方法包括预测编 码和变换编码. – 二是使编码后各个符号出现的概率尽可能相 等，即均匀化分布方法主要是统计编码. • 信源编码常分为无失真信源编码和限失真信源 编码，前者主要用于文字、数据信源的压缩， 后者主要用于图像、语音信源的压缩。 • 本章主要介绍信源编码的基本思路与主要方 法，以无失真、统计编码为主，期望通过本章 学习能建立起信源压缩编码的基本概念。 5.1 编码器及相关概念 • 为了分析方便和突出问题的重点，当研究信源 编码时，我们把信道编码和译码看成是信道的 一部分，从而突出信源编码。同样，在研究信 道编码时，可以将信源编码和译码看成是信源 和信宿的一部分，从而突出信道编码。 5.1.1 码的分类 • 一.编码器模型 由于信源编码可以不考虑抗干扰问题，所 以它的数学模型比较简单。下图为一个编码器 模型: • 输入是信源符号集: S {s ,s ,,s } 1 2 q • x为编码器所用的编码符号集，包含r个元素 { x ,x ,...,x }，称为码符号(码元) . 1 2 r x W • 由码符号 组成的输出序列 称为码字. i i l W 其长度 称为码字长度或码长，全体码字 的集 i i 合C称为码或码书. s i • 编码器将信源符号集中的信源符号 （或长为N   的信源符号序列 ）变成由码符号组成的长为 i 的与信源符号一一对应的输出序列。即: s (i 1, 2, ,q) W (i 1, 2, ,q) (x , x , , x ), x X i i i 1 i 2 ili ij • 二.码的分类: 对于编码器而言，根据码符号集合X中码 元的个数不同以及码字长度是否一致，有以下 一些常