信息论与编码-第四章详解.pptVIP

信息论与编码-信息率失真函数 因此， 就是在R(D)=0的条件下，看在什么 分布下，能够得到平均失真D的最小值，即 也可以改写成 信息论与编码-信息率失真函数 也就是说，要求 的数学期望的最小值。这个最小值是一定存在的。比如 这样分布：当某一个 使得 为最小时，就取 ，而其余的 ，此时求得的 的数学期望一定是最小的。此时，有 信息论与编码-信息率失真函数 例题：设输入输出符号表为X=Y={0,1}，输入概率分布为 ，失真矩阵为 求 信息论与编码-信息率失真函数 解： 当Dmin=0时，R(Dmin)=H(X)=H(1/3,2/3)=0.91bit/符号， 这时信源编码器无失真，编码器的转移概率为 信息论与编码-信息率失真函数 当R(Dmax)=0 时， 而输出符号概率为 编码器的转移概率为 信息论与编码-信息率失真函数 例题4-4：输入输出符号表同上题，失真矩阵为 解：当 时，该编码器的转移矩阵为 但 从失真矩阵看，不管怎样转移，都将产生失真，所以Dmin不能达到零。实际应用中一般不会这样。 信息论与编码-信息率失真函数 求 信息论与编码-信息率失真函数 关于R(D)的其他性质 R(D)是非负的实数，即 ，定义域为 ，当 时，R(D)=0。 R(D)是关于D的下凸函数，因而也是关于D的连续函数。 R(D)是关于D的严格递减函数。 信息论与编码-信息率失真函数 R(D)函数的单调递减性 因为允许的失真越大，所要求的信息率就可以越小。根据R(D)的定义，它是在平均失真度小于或等于允许失真度D的所有试验信道集合 中，取I(X;Y)的最小值。当允许失真D扩大，则 的集合也扩大，当然仍然包含原来满足条件的所有信道。这是在扩大了的 集合中找I(X;Y)的最小值，显然或者是最小值不变，或者是变小了，所以R(D)是非增的。 信息论与编码-信息率失真函数 R(D) H(X) R(D) 0 D DMAX D R(D) 0 D 离散系统 连续系统 信息率失真曲线 信息论与编码-信息率失真函数 因此，当规定了允许失真，又找到了适当的失真函数 ，就可以找到该失真条件下的最小信息率