信源编码-3.ppt

信源编码 第5章 5.1 编码的定义 5.2 无失真信源编码 5.3 限失真信源编码 5.4 常用信源编码方法简介 限失真信源编码定理 将信源编码器看作信道，信源编码模型如下图所示。无失真信源编码对应于无损确定信道，有失真信源编码对应于有燥信道。对于无失真信源编码，信道的输入符号个数与输出符号个数相等，呈一一对应关系，信道的损失熵H(X|Y)和噪声熵H(Y|X)均为零，通过信道的信息传输率R等于信源熵H(X)，因此，从信息处理角度看，无失真信源编码是保熵的，只是对冗余度进行了压缩，因为冗余度是对信号携带信息能力的一种浪费。 限失真信源编码定理 有失真信源编码的中心任务是：在允许的失真范围内把编码后的信息率压缩到最小。有失真信源编码的失真范围受限，所以又称为限失真信源编码；编码后的信息率得到压缩，因此属熵压缩编码。之所以引入有失真的熵压缩编码，原因如下: 保熵编码并非总是必要的； 保熵编码并非总是可能的； 降低信息率有利于传输和处理，因此有必要进行熵压缩编码。 限失真信源编码定理 在本章一开始我们就分析了在很多实际信源中,特别在模拟的连续信源中,无失真要求是完全没有必要的,而且也是达不到的。 在实际中限失真信源是具有现实意义的 在第4章讨论中，信息率失真函数给出了失真小于D时所必须具有的最小信息率R(D)； 只要信息率大于R(D)，一定可以找到一种编码，使译码后的失真小于D。 限失真信源编码定理 限失真信源编码定理： 设离散无记忆信源 X 的信息率失真函数为R(D) , 当信息率 R＞R(D)时,只要信源序列长度 L 足够长,一定存在一种编码方法,其译码失真小于或等于 D+ε,ε为任意小的正数； 反之,若R＜R(D) ,则无论采用什么样的编码方法,其译码失真必大于D。 如是二元信源,则对于任意小的ε＞0,每一个信源符号的平均码长满足如下公式： 限失真信源编码定理 上述定理指出,在失真限度内使信息率任意接近R(D)的编码方法存在。然而，要使信息率小于R(D)，平均失真一定会超过失真限度D。 对于连续平稳无记忆信源，无法进行无失真编码，在限失真情况下，有与上述定理一样的编码定理。 限失真信源编码定理 限失真信源编码定理只能说明最佳编码是存在的，而具体构造编码方法却一无所知。因而就不能像无损编码那样从证明过程中引出概率匹配的编码方法。一般只能从优化的思路去求最佳编码。实际上迄今尚无合适的可实现的编码方法可接近R(D)这个界。 前面介绍了信源编码的两大定理，实用的编码方法需要根据信源的具体特点。在编码理论指导下，先后出现了许多性能优良的编码方法，在此简要介绍部分编码方法的基本原理。 哈夫曼码在实际中已有应用，但它仍存在一些分组码所具有的缺点。例如概率特性必须得到精确的测定，它若略有变化，还需更换码表，以及对于二元信源，常需要多个符号合起来编码，才能取得好的效果，但当合并的符号数不大时，编码效率提高不多，尤其对于相关信源，不能令人满意，而合并的符号数增大时，码表中的码字数很多，设备越来越复杂。因此在实用中常需作一些改进，同时也就有研究非分组码的必要性。 常用信源编码 香农编码、费诺编码、哈夫曼编码主要是针对无记忆信源。 当信源有记忆时上述编码效率不高； 游程编码对相关信源编码更有效； 香农编码、费诺编码、哈夫曼编码属于无失真信源编码； 游程编码属于限失真信源编码。 游程编码 游程： 数字序列中连续出现相同符号的一段。 二元序列的游程：只有“0”和“1”两种符号。 连“0”这一段称为“0”游程,它的长度称为游程长度L(0)； 连“1”这一段称为“1”游程,它的游程长度用L(1)表示。 “0”游程和“1”游程总是交替出现的。 游程编码 二元独立序列游程长度概率 “0”游程和“1”游程总是交替出现,若规定二元序列总是从“0”开始,第一个游程是“0”游程,则第二个游程必为“1”游程,第三个又是“0”游程……。 对于随机二元序列,各游程长度将是随机变量，其取值可为1,2,3,…，直至无穷。 游程长度序列/游程序列：用交替出现的“0”游程和“1”游程长度表示任意二元序列。 游程变换：即将二元序列变成为游程长度序列。 是一种一一对应的变换,也是可逆变换。 例如：二元序列000101110010001… 可变换成如下游程序列 游程编码 游程变换减弱了原序列符号间的相关性。 游程变换将二元序列变换成了多元序列； 这样就适合于用其他方法,如哈夫曼编码,进一步压缩信源,提高通信效率。 编码方法： 首先测定“0”游程长度和“1”游程长度的概率分布,即以游程长度为元素,构造一个新的信源； 对新的信源(游程序列)进行哈夫曼编码。 游程编码 若已知二元序列以0起始，从游程序列很容易