第5篇 信源编码 第1讲 无失真信源编码 定长编码定理 2016.pdfVIP

第5章信源编码 • 前面介绍了信源熵和信息率失真函数的概念，弄 清了传送信源信息只需要具有信源极限熵或信息 率失真函数大小的信息率。 • 但在实际通信系统中，用来传送信源信息的信息 率远大于信源极限熵或信息率失真函数。 • 在传送信源信息时能否达到或接近信源熵或率失 真函数这样的最小信息率呢？ – 这就是信源编码要解决的问题。 余 映 云南大学 1/62 第5章信源编码 • 编码分为信源编码和信道编码，其中信源编码又分为无失 真和限失真。由于无失真信源编码定理和限失真信源编码 定理都要求符号数很大，以便其值接近所规定的值，因而 这些定理被称为极限定理。 • 一般称 – 无失真信源编码定理为第一极限定理； – 信道编码定理称为第二极限定理； – 限失真信源编码定理为第三极限定理。 余 映 云南大学 2/62 第5章信源编码 • 信源符号之间存在分布不均匀性和相关性，使得 信源存在冗余度。 • 信源编码的主要任务 – 针对信源输出符号序列的统计特性，设法把信源输出 符号序列变换为尽可能短的码字序列，从而减少冗余， 提高编码效率。 • 信源编码的基本途径 – ①使序列中各个符号尽可能相互独立，即消除相关性； – ②使编码中各个符号出现的概率尽可能相等，即概率 均匀化。 余 映 云南大学 3/62 第5章信源编码 • 信源编码的理论基础是信源编码的两个定理： – ①无失真信源编码定理：是离散信源编码的基础； – ② 限失真信源编码定理：是连续信源编码的基础。 • 无失真编码可理解为可逆编码 – 可逆编码是指当信源符号转换成代码后，可从这些代 码无失真地恢复出原来的信源符号。 余 映 云南大学 4/62 第5章信源编码 • 编码定理不但证明了必定存在一种编码方法，可 使代码的平均长度可任意接近（但不低于）信源 符号熵，而且还阐明达到这一目标的途径，就是 使概率与码长匹配。 • 对于离散信源，可做到无失真编码 （可逆编码）。 • 对于连续信源，只能做到限失真编码。 – 因为连续信源的取值可有无限多个，所以编成代码后 就无法无失真地恢复原来的连续值。 余 映 云南大学 5/62 第5章信源编码 • 本章讨论离散信源编码。 • 首先从无失真信源编码定理出发，重点讨论以香 农码、费诺码和哈夫曼码为代表的最佳变长码； • 然后再介绍其他几种常用的信源编码方法， 如LZ编码，游程编码，以及用于图像压缩的 JPEG编码标准。 余 映 云南大学 6/62 第5章信源编码 • 5.1 编码的定义 • 5.2 无失真信源编码 • 5.3 限失真信源编码定理 • 5.4 常用信源编码方法简介 余 映 云南大学 7/62 5.1 编码的定义 余 映 云南大学 8/62 5.1 编码的定义 • 将信源消息分成若干组，即符号序列x = (x ,