第六章保真度准则下的信源编码要点.pptVIP

第六章 保真度准则下的信源编码 第一节 失真度和平均失真度 第二节 信息率失真函数及其性质 第三节 二元信源和离散对称信源的R(D)函数 第四节 保真度准则下的信源编码定理 第五节 联合有失真信源信道编码定理 第六节 限失真信源编码定理的实用意义 1、实际通信中存在失真。 在实际通信中，信源输出的信息传输率总是大大超过信道容量，不可能实现完全无失真地传输信源的信息。 此外，为了提高传输和存储效率，必须进行数据压缩，这样也会损失一定的信息，带来失真。 2、实际生活中允许有一定失真。 在实际生活中，人们不一定要求完全无失真的恢复消息，也就是允许有一定的失真。 引言 3、引出所研究的问题：允许一定失真下信源编码。 那么在允许一定程度失真的条件下，能够把信源信息压缩到什么程度，也就是，允许一定程度失真的条件下，如何能快速的传输信息，这就是本章所要讨论的问题。 本章所讨论的内容是量化、数模转换、频带压缩和数据压缩的理论基础。 失真度如何表示？基于失真度定义的信息率失真函数及其性质？什么是保真度准则？在保真度准则下如何进行信源编码？ 引言 第一节 失真度和平均失真度 1、失真度 根据信道编码定理，我们可以把信道编码、信道和信道解码等价成是一个没有任何干扰的广义信道，这样收信者收到消息后，所产生的失真只是由信源编码带来的。我们也可以把信源编码和信源译码等价成一个信道，称此信道为试验信道。 第一节 失真度和平均失真度 现在我们要研究在给定允许失真的条件下，是否可以设计一种信源编码使信息传输率为最低。为此，我们首先讨论失真的测度。 第一节 失真度和平均失真度 我们称它为失真矩阵。 第一节 失真度和平均失真度 例1： 失真矩阵为： 这种失真称为汉明失真。 在二元情况下： 第一节 失真度和平均失真度 [例2] 二元删除信道X={0,1}; Y={0,2,1} [P] = 0 2 1 0 1-p p 0 1 0 p 1-p 回忆：二元删除信道 这种信道实际是存在的。假如有一个实际信道，它的输入时代表0和1的两个正、负方波信号，如图3.5(a)所示。那么，信道输出送入译码器的将是受干扰后的方波信号R(t)，如图3.5(b)所示。我们可以用积分 I = 来判别发送的信号是“0”，还是“1”。如果I是正的，且大于某一电平，那么判别发送的是“0”；若I是负的，且小于某一电平，则判别发送的是“1”。而若I的绝对值很小，不能做出确切的判断，就认为接收到的是特殊符号“2”，假如信道干扰不是很严重的话，那么，1 0和0 1的可能性要比 0 2和1 2的可能性小的多，所以假设 P(y = 1 |x = 0) = P(y = 0 | x = 1) = 0是较合理的。 例2：删除信源 对于二元删除信源r=2，s=3，失真度为 第一节 失真度和平均失真度 例3：对称信源r=s，定义失真度为： 当r=s=3时， 失真矩阵为： 第一节 失真度和平均失真度 平方误差失真 第一节 失真度和平均失真度 2、平均失真度 第一节 失真度和平均失真度 凡满足保真度准则的这些试验信道称为D失真许可的试验信道。把所有D失真许可的试验信道组成一个集合，用符号BD表示。 第二节 信息率失真函数及其性质 回忆： 互信息 I(X;Y)=H(X)-H(X|Y) 因为H(X)表示传输前信源的不确定性，而H(X|Y)表示收到符号后，对信源尚存的不确定性，所以二者之差是信道传递的信息量。 P(x) 平均互信息定义： 互信息I(x:y)在两个概率空间X和Y中求统计平均的结果； 先验熵与信道疑义度之差。 回忆： 平均互信息 这就是说，对于一定的信道转移概率分布，总可以找到某一个先验概率分布的信源X，使平均互信息量达到相应的最大值Imax，这时称这个信源为该信道的匹配信源。可以说不同的信道转移概率对应不同的Imax。因此，当固定某信道时，选择不同的信源（其概率分布不同）与信道连接，在信道输出端接收到每个符号后获得的信息量是不同的。对于每一个固定的信道，一定存在一个某种概率分布的信源，使输出端获得的平均信息量为最大。 回忆： 平均互信息的性质 定理3.2 平均互信息I(X;Y)信道传递概率P(y|x)的U型凸函数（又称下凸函数）。 这就是说，对于一个已知先验概率为P(X)的离散信源，总可以找到某一个转移概率分布的信道，使平均互信息量达到相应的最小值Imin。可以说不同的信源先验概率对应不同的Imin。或者说Imin是P(X)的函数。即平均互信息量