信息论傅祖芸9.pptVIP

第七章 保真度准则下的信源编码 第一节 失真度和平均失真度 第二节 信息率失真函数及其性质 第三节 二元信源和离散对称信源的 R(D) 函数 第四节 保真度准则下的信源编码定理 第五节 联合有失真信源信道编码定理 第六节 有失真信源编码定理的实用意义 第一节 失真度和平均失真度 在实际生活中，人们不一定要求完全无失真的恢复消息， 也就是允许有一定的失真。 那么在允许一定程度失真的条件下，能够把信源信息压 缩到什么程度，也就是，允许一定程度失真的条件下，如何 能快速的传输信息，这就是本章所要讨论的问题。 本章所讨论的内容是量化、数模转换、频带压缩和数据 压缩的理论基础。 1 、失真度 信源 信源 编码 信道 编码 信道 信道 译码 信源 译码 信宿 干扰 根据信道编码定理，我们可以把信道编码、信道和信道解 码等价成是一个没有任何干扰的广义信道，这样收信者收到 消息后，所产生的失真只是由信源编码带来的。我们也可以 把信源编码和信源译码等价成一个信道。 第一节 失真度和平均失真度 信源 信宿 第一节 失真度和平均失真度 试验信道 我们称此信道为 试验信道 。 现在我们要研究在给定允许失真的条件下，是否可以设计一种信 源编码使信息传输率为最低。为此，我们首先讨论失真的测度。 设信源变量为 ，其概率分布为 1 2 { , ,... } r U u u u ? 1 ( ) [ ( )... ( )] r P u P u P u ? 对于每一对 (u,v) ，我们指定一个非负的函数 ( , ) 0 i j d u v ? 称为 单个符号的失真度 （或称 失真函数 ） 接受端变量为 ， 1 2 { , ,... } s V v v v ? 第一节 失真度和平均失真度 失真函数用来表征信源发出一个符号 ，而在接收端再 现成符号 所引起的误差或失真。 d 越小表示失真越小， 等于 0 表示没有失真。 可以将所有的失真函数排列成矩阵的形式： i u j v 1 1 1 2 1 2 1 2 2 2 1 2 ( , ) ( , ) ... ( , ) ( , ) ( , ) ... ( , ) ... ( , ) ( , ) ... ( , ) s s r r r s d u v d u v d u v d u v d u v d u v D d u v d u v d u v ? ? ? ? ? ? ? ? ? ? ? ? ? 我们称它为 失真矩阵 。 第一节 失真度和平均失真度 例 1 ： 0 ( , ) 1 i j d u v ? ? ? ? ? ? ? ? i j i j 当u v 当u v 失真矩阵为： 0 1 ... 1 1 0 ... 1 ... 1 1 ... 0 D ? ? ? ? ? ? ? ? ? ? ? ? ? 这种失真成为 汉明失真 在二元情况下： 1 0 0 1 D ? ? ? ? ? ? ? 第一节 失真度和平均失真度 例 2 ：删除信源 1 s r ? ? 0 ( , ) 1 ( 1/ 2 ( ) i j i j d u v i j j s i ? ? ? ? ? ? ? ? ? 除j=s以外的所有i和所有j） 所有 对于二元删除信源 r=2,s=3 0 1/ 2 1 1 1/ 2 0 D ? ? ? ? ? ? ? 第一节 失真度和平均失真度 例 3 ：对称信源 r=s ，定义失真度为： 2 ( , ) ( ) i j j i d u v v u ? ? 当 r=s=3 时， ? ? 0 1 2 U ? ? ? 0 1 2 V ? 失真矩阵为： 0 1 4 1 0 1 4 1 0 D ? ? ? ? ? ? ? ? ? ? ? 第一节 失真度和平均失真度 2 、平均失真度 [ ( , )] i j D E d u v ? 若已知试验信道的传递概率，则平均失真度为： , 1 1 ( , ) ( , ) ( ) ( / ) ( , ) r s i j i i j U V i j D P u v d u v P u P v u d u v ? ? ? ? ? ?? 若平均失真度 不大于我们所允许的失真 D ，我们称