(信息论)第7章限失真信源编码.pptVIP

* 第 7 章 限失真信源编码 7.1 失真测度 本章主要讨论信息率失真理论，它主要是研究在允许的失真条件下信源压缩的问题。信息率失真理论是信号量化、模数转换、频带压缩和数据压缩的理论基础。 7.1.1 失真函数 失真函数的定义 假设离散信源为 经过信道传输后的输出序列为 ，用一个非负的函数 表示信源发出符号 ，接收端收到符号 的失真度的定量描述，将所有的 ， ，排列起来，用矩阵表示为 称 为失真矩阵。 (7.1) 失真函数 的形式： 平方代价函数 绝对代价函数 均匀代价函数等等 ① ② ③ 失真函数定义的推广 对于离散矢量信源 N 长符号矢量序列为 其中第 i 个符号 的取值为 ，经信道传输后，接收端收到的 N 长符号矢量序列为 其中第 i 个符号 的取值为 ，则相应的失真函数定义为 矢量失真函数矩阵共有 个元素。 (7.2) 7.1.2 平均失真 假设离散信源为 平均失真的定义 经过信道传输后的输出序列为 ，失真矩阵 为 由于 和 都是随机变量，所以失真函数 也是随机变量，称失真函数的数学期望为平均失真，记为 其中 是联合分布， 是信源符号概率分布 是转移概率分布 。 平均失真 D 的意义：是表示给定信源分布 在给定转移概率分布为 的信道中传输时的失真的总体量度。 (7.3) 矢量信源平均失真的定义 对于矢量传输情况，若信源输出和经过信道传输到接收端的 N 长符号序列为 ， 其中第 i 个位置上的符号取值分别为 ，则平均失真度为 其中 是第 i 个位置上符号的平均失真。 显然，如果矢量信源是离散无记忆 N 次扩展信源，且矢量信道是离散无记忆 N 次扩展信道，则每个位置上符号的平均失真 相等，且等于矢量平均失真 (7.4) 7.2 信息率失真函数 7.2.1 允许信道(试验信道) 问题的提出 对于信息容量为 C的信道传输信息传输率为 R 的信源时，如果 ，就必须对信源进行压缩，使其压缩后信息传输率 小于信道容量 C，但同时要保证压缩所引入的失真不超过预先规定的限度。 保真度准则 如果预先规定的平均失真度为 ，则称信源压缩后的失真度 D 不大于 的准则为保真度准则，即保真度准则满足 允许信道(试验信道)的定义 信息压缩问题就是对于给定的信源，在满足保真度准则的前提下，使信息率尽可能小。将满足保真度准则 的所有信道称为失真度 允许信道(也称 允许的试验信道)，记为 对于离散无记忆信道，相应地有 (7.5) 7.2.2 信息率失真函数的定义 在 允许信道 中可以寻找一个信道 ，使给定的信源经过此信道传输时，其信道传输率 达到最小，定义为信息率失真函数 ，也称为率失真函数，即 对于离散无记忆信源，率失真函数 可写成