[工学]信息论与编码第4章.pptVIP

* * * * 例4-3:设输入输出符号表为X=Y={0,1},输入概率分布p(x)={1/3,2/3},失真矩阵 求： Dmin 和Dmax 解： 失真矩阵的每一行至少有一个0元素时, Dmin=0 当Dmin＝0时，R(Dmin)＝H(X)＝H(1/3，2/3)＝0.91比特/符号，这时信源编码器无失真，所以该编码器的转移概率为 * 当R(Dmax)＝0时 此时输出符号概率p(b1)＝0，p(b2)＝1， 所以这时的编码器的转移概率为 * 例:设输入输出符号表为X=Y={0,1},输入概率分布p(x)={1/3,2/3},失真矩阵 求： Dmin 和Dmax * R(D)的定义域 R(D)的定义域为[Dmin，Dmax ]。 通常Dmin = 0， R(Dmin) = H(X) 当 D≥Dmax时, R(D) = 0 当 0 ≤D≤Dmax时, 0 ≤ R(D) ≤ H(X) * 信息率失真函数的性质 1、R(D)是非负的实数, R(D)≥0。 其定义域为0~Dmax , 其值为0~H(X)。 当D＞Dmax时,R(D)≡0 2、R(D)是关于D的下凸函数 R(D)在定义域内是失真度D的U型下凸函数 3、R(D)的单调递减性及连续性 容许的失真度越大，所要求的信息率越小。反之亦然。 * 图说明： R(0) = H(X) ， R(Dmax) =0， 决定了曲线边缘上的两个点； 在0和Dmax之间， R(D)是单 调递减的下凸函数； 在连续信源时，当D→0时， R(D)→∞ ，曲线将不与R(D)轴相交。 * 阴影范围表示实际信源编码方案与理论值间的差距，我们完全可以找到更好，即更靠近理论值，缩小阴影范围的信源编码，这就是工程界寻找好的信源编码的方向和任务 若已知这一类信源理论上的 * 4.2 离散信源R(D)计算 给定信源概率pi和失真函数dij,就可以求得该信源的R(D)函数。 它是在保真度准则下求极小值的问题。 但要得到它的显式表达式,一般比较困难通常用参量表达式。 即使如此,除简单的情况外实际计算还是困难的,只能用迭代逐级逼近的方法。 * 二元对称信源的R(D)函数 设二元对称信源X={0,1},其概率分布p(x)=[p,1-p],接收变量Y={0,1},汉明失真矩阵 因而最小允许失真度Dmin=0。 并能找到满足该最小失真的试验信道,且是一个无噪无损信道,其信道矩阵为 计算得：R(0)=I(X;Y)=H(p) * 最大允许失真度为 要达到最大允许失真度的试验信道,唯一确定为 这个试验信道能正确传送信源符号x=1,而传送信源符号x=0时,接收符号一定为y=1 凡发送符号x=0时,一定都错了。而x=0出现的概率为p,所以信道的平均失真度为p 。 在这种试验信道条件下，可计算得 R(Dmax) = R(p) = 0 * 某些特殊情况下R(D)的表示式为： （1）当d(x,y)=(x-y)2， 时， (2)当d(x,y)=|x-y|， 时， * (3)当d(x,y)=?(x,y)，p(x=0)=p，p(x=1)=1-p时， R(D)=H(p)－H(D) 0 Dmax D R(D) H (3) (1) (2) * 信息率失真函数的参量表述 求信源的R(D)函数，原则上与求信道容量一样，是在有约束条件下求极小值的问题。 也就是适当选取试验信道P(v/u)使平均互信息最小化， 应用拉格朗日乘子法，原则上可以求出解来。 * 但是，如果要求得到明显的解析表达式，则比较困难，通常只能用参量形式来表达。即便如此，除简单情况外，实际计算仍然是相当困难的。尤其是约束条件式，它是求解R(D)函数最主要的障碍。 因为应用拉格朗日乘子法解得的一个或某几个P(vj/ui)很可能是负的。在这情况下，必须假设某些P(vj/ui) =0，然后重新计算，这就使得计算复杂化了。 目前，可采用收敛的迭代算法在电子计算机上求解R(D)函数。 下面介绍用拉格朗日乘子法求解R(D)函数，并用S作为参量来表述率失真函数R(D)和失真函数D(S)。 * 由式(1)知，当信源的概率分布P(u)固定，平均互信息仅仅是试验信道P(vj/ui)的函数。 若先不考虑式(2)的约束，约束条件式(3)包含r个等式，取拉格朗日乘子? i(i＝1．2，… r)分别与之对应；并取拉氏乘子S与式(4)对应。由此构成