CH7保真度准则下信源编码.pptVIP

7.1 失真度和平均失真度 7.1 失真度和平均失真度 7.2 信息率失真函数及其性质 7.3 二元信源和离散对称信源的R(D)函数 7.4 保真度准则下的信源编码定理 7.4 保真度准则下的信源编码定理 保真准则下的信源编码定理的说明： 7.5 联合有失真信源信道编码定理 2012.12 第7章 保真度准则下的信源编码 7.1 失真度和平均失真度 7.2 信息率失真函数及其性质 7.3 二元信源和离散对称信源的R(D)函数 7.4 保真度准则下的信源编码定理 7.5 联合有失真信源信道编码定理 在实际生活中，人们不一定要求完全无失真的恢复消息，也就是允许有一定的失真。 那么在允许一定程度失真的条件下，能够把信源信息压缩到什么程度，也就是，允许一定程度失真的条件下，如何能快速的传输信息，这就是本章所要讨论的问题。 本章所讨论的内容是量化、数模转换、频带压缩和数据压缩的理论基础。 7.1.1 失真度 信源 信源编码 信道编码 信道 信道译码 信源译码 信宿 干扰 根据信道编码定理，我们可以把信道编码、信道和信道解码等价成是一个没有任何干扰的广义信道，这样收信者收到消息后，所产生的失真只是由信源编码带来的。我们也可以把信源编码和信源译码等价成一个信道。 信源 信宿 试验信道 我们称此信道为试验信道。 现在我们要研究在给定允许失真的条件下，是否可以设计一种信源编码使信息传输率为最低。为此，我们首先讨论失真的测度。 设信源变量为 ，其概率分布为 对于每一对(u,v)，我们指定一个非负的函数 称为单个符号的失真度（或称失真函数） 接收端变量为 ， 失真函数用来表征信源发出一个符号 ，而在接收端再现成符号 所引起的误差或失真。d 越小表示失真越小，等于0表示没有失真。 由于信源U有r个符号，信道输出V有s个符号，所以 有r×s个，这r×s个非负的函数可以排列成矩阵形式，即 我们称它为失真矩阵D，它是r ×s阶矩阵。 例1：离散信源（r=s）， 失真矩阵为： 这种失真成为汉明失真。汉明失真矩阵D通常为方阵，且对角线上的元素为0。即 对于二元对称信源（r=s=2）， ，在汉明失真定义下，失真矩阵为 例2：删除信源 对于二元删除信源r=2,s=3 例3：对称信源r=s，失真度定义为： 当r=s=3时， 如果信源符号代表信源输出信号的幅度值，那么，这一种就是以方差表示的失真度。上式意味着较大的幅度差值要比较小的幅度差值引起的失真更为严重，称这种失真为平方误差失真。 7.1.2 平均失真度 若已知试验信道的传递概率，则平均失真度为： 若平均失真度 不大于我们所允许的失真D，即 ，我们称此为保真度准则。 凡满足保真度准则的这些试验信道称为D失真许可的试验信道。把所有D失真许可的试验信道组成一个集合，用符号 表示。 此值是描述某一信源在某一次实验信道传输下的失真大小，是总体上描述整个系统的失真情况。 7.2.1 信息率失真函数 当信源和失真函数给定后，我们总希望在满足保真度准则下，使信源必须传输给收信者的信息传输率R尽可能地小。把信源的压缩编码的过程看成一个信道，从这个信道的接收端来说，就是在满足保真准则下，寻找平均互信息的最小值。因此，在D失真许可的试验信道集合 中找一个信道，使平均互信息 取极小值。这个最小值就是在 的条件下，信源必须传输的最小平均信息量。 即 这就是信息率失真函数或简称率失真函数,它的单位是比特/信源符号、哈特莱/信源符号或奈特/信源符号。 注意： 在研究R(D)时，我们引用的条件概率 并没有实际信道的含义。只是为了求平均互信息的最小值而引用的、假想的可变试验信道。实际上这些信道反映的仅是不同的有失真信源编码或信源压缩。所以 改变试验信道求平均互信息的最小值，实质上是选择一种编码方式使信息传输率为最小。 研究信息率失真函数是为了解决在已知信源和允许失真度D的条件下，使信源必须传送给用户的信息量最小，也即是用尽可能少的码符号来传送信源消息，以提