第4章 信息率失真理论.pptVIP

R D D 0.5 0.25 p 0.25 p 0.5 0 0.693 0.562 二元信源 求允许失真D的取值范围，并求D 1/8时的信息率失真函数R D 及达到R D 的实验信道 取汉明失真矩阵 例2 D 1/8时 5、等概率信源的信息率失真函数 n元等概率信源 设失真矩阵 … … * 信息率失真理论 * 一、保真度准则和实验信道 ①失真度 1、保真度准则 第4章 信息率失真理论 定义 对应于离散消息xi与 或连续消息x与 的非负函数d xi, 或d x, 为失真度 常用的失真度： 汉明失真度 对于单符号离散信源，全部n×n个失真度组成的矩阵称为失真矩阵 汉明失真矩阵 平方误差失真度 ②平均失真度 各失真度的数学期望为平均失真度 定义 表示 ③保真度准则 如果给定的允许失真为D 2、实验信道 定义 信源概率分布P X 或概率密度函数p x 不变时调整信道，满足保真度准则的所有信道为实验信道，用 表示 单符号离散实验信道 表示 时不变连续实验信道 二、单符号离散信源的信息率失真函数 信源概率分布P X 不变时，保真度准则下平均互信息的最小值为信源的信息率失真函数，用R D 表示 定义 信源固定时，平均互信息是信道转移概率分布 的严格下凸函数，在实验信道中找到一种信道转移概率分布 ，使通过信道的平均互信息在保真度准则下达到最小 表示 1、信息率失真函数的D合理给定范围 允许失真D是平均失真度 的上界，允许失真D的合理给定范围受限于平均失真度 的可能取值 当D Dmin 0 无失真时R D H X 根据R D 的意义，当 最大失真时R D 0 同样R D 0 例1 二元等概率信源的失真矩阵 ，求允许 失真D的取值范围和 时的实验信道 2、信息率失真函数的性质 ①对D具有非负性 ②对D具有严格下凸性 设第1个实验信道满足D1条件下R D 的定义 由 的非负性说明 第2个实验信道满足D2条件下R D 的定义 取一个新的实验信道 该实验信道可能满足也可能不满足αD1+ 1-α D2条件下R D 的定义，对应于该实验信道的 另一方面，平均互信息是信道转移概率分布的严格下凸函数 ③对D具有单调递减性 由R D 对D具有的非负性、严格下凸性及R Dmax 0说明 当Dmin 0时，信息率失真函数R D 的大致曲线 D R D H X 单符号离散信源的信息率失真函数可以通过平均互信息在满足保真度准则前提下信源固定时对信道转移概率分布的条件极值求取 信道转移概率分布的n个约束条件 平均失真度的约束条件 3、信息率失真函数的表达式 根据拉格朗日乘子法，设 对j求和 乘P xi ，对i求和 信息率失真函数的计算步骤 4、二元信源的信息率失真函数 二元信源 设失真矩阵 * 信息率失真理论