信息论与编码原理 信息率失真函数.ppt

* Dmax是这样来计算的。R(D)＝0就是I(X;Y)＝0，这时试验信道输入与输出是互相独立的，所以条件概率p(yj/xi)与xi无关。即 * 求出满足条件 的D中的最小值 ，即 此时平均失真为 * 从上式观察可得：在j=1，…，m中，可找到 值最小的j，当该j对应的pj＝1，而其余pj为零时，上式右边达到最小，这时上式可简化成 * 例4-1-4 设输入输出符号表为X＝Y?{0，1}，输入概率分布p(x)={1/3，2/3}，失真矩阵为 * 解： 当Dmin＝0时，R(Dmin)＝H(X)＝H(1/3，2/3)＝0.91比特/符号，这时信源编码器无失真，所以该编码器的转移概率为 * 当R(Dmax)＝0时 此时输出符号概率p(b1)＝0，p(b2)＝1， 所以这时的编码器的转移概率为 * 2、R(D)函数的下凸性和连续性 3、R(D)函数的单调递减性 容许的失真度越大，所要求的信息率越小。反之亦然。 * 综上所述，可以得出如下结论： R(D)是非负的实数，即R(D) ? 0。其定义域为0～Dmax，其值为0～H(X)。当DDmax时， R(D) ? 0。 R(D)是关于D的下凸函数，因而也是关于D的连续函数。 R(D)是关于D的严格递减函数。 * 由以上三点结论，对一般R(D)曲线的形态可以画出来： R(D) H(X) R(D) 0 D Dmax D R(D) 0 Dmax D 信息率失真曲线 * 4.2 离散信源和连续信源的R（D）计算 某些特殊情况下R（D）的表示式为： （1）当d(x,y)=(x-y)2， 时， * (2)当d(x,y)=|x-y|， 时， (3)当d(x,y)=?(x,y)，p(x=0)=p，p(x=1)=1-p时， R(D)=H(p)－H(D) * 这些R（D）可画成三条曲线 0 Dmax D R(D) H (3) (1) (2) 图4-5 信息率失真函数R(D) * 例4-2-1 设输入输出符号表为X＝Y?{0，1}，输入概率分布p(x)=(p，1-p)，0p?1/2，失真矩阵为 求信息率失真函数R(D)。 * 0.1 0.2 0.3 0.4 0.5 D 1.0 0.8 0.6 0.4 0.2 0.0 R(D)/bit p=0.5 p=0.3 p=0.2 p=0.1 图4－6 R(D)=H(p)－H(D)，p为参数 * 第4章　信息率失真函数 本章主要讨论在信源允许一定失真情况下所需的最少信息率，从分析失真函数、平均失真出发，求出信息率失真函数R（D） 。 4.1 平均失真和信息率失真函数 4.2 离散信源和连续信源的R（D）计算 * 4.1 平均失真和信息率失真函数 4.1.1 失真函数 4.1.2 平均失真 4.1.3 信息率失真函数R(D) 4.1.4 信息率失真函数的性质 * 4.1 平均失真和信息率失真函数 在实际问题中，信号有一定的失真是可以容忍的。但是当失真大于某一限度后，信息质量将被严重损伤，甚至丧失其实用价值。要规定失真限度，必须先有一个定量的失真测度。为此可引入失真函数。 * 4.1.1 失真函数 假如某一信源X，输出样值为xi，xi?{a1,…an}，经过有失真的信源编码器，输出Y，样值为yj，yj ?{b1,…bm}。如果xi＝yj，则认为没有失真；如果xi ? yj，那么就产生了失真。失真的大小，用一个量来表示，即失真函数d(xi，yj)，以衡量用yj代替xi所引起的失真程度。一般失真函数定义为 * 失真矩阵 单个符号的失真度的全体构成的矩阵 ，称为失真矩阵 * 均方失真：? 相对失真： 误码失真： 绝对失真： 前三种失真函数适用于连续信源，后一种适用于离散信源。 最常用的失真函数 * 失真函数的定义可以推广到序列编码情况，如果假定离散信源输出符号序列X=(X1X2…Xl…XL