信息论与编码曹雪虹第4章.pptVIP

参量s的意义 现求R(D)对D的导数，由（4.2.8）得 （4.2.13） 在（4.2.5）式的两边，对s求导，得 两边都乘以 ，得 * 根据（4.2.4），得 （4.2.14） 将（4.2.14）结果代入（4.2.12），得 （4.2.15） 结论：i）s是R(D)的斜率； ii）因为R(D)在0DDmax严格单调递减，所以s0。 * 例4.2.2 一个二进信源，符号集A={0,1}，概率为p(0)=p1=p，p(1)=p2=1-p，其中p≤1/2；试验信道输出符号集B={0,1}， 失真函数为汉明失真，求R(D)函数。 解 i）求 ， ， ii）由 ，得 ， ， ， * iii） iv） （4.2.16） （4.2.17） * 由（4.2.16）得， 和 ，将 这些结果代入（4.2.17），得 （4.2.18） * 0.1 0.2 0.3 0.4 0.5 D 1.0 0.8 0.6 0.4 0.2 0.0 R(D)/bit p=0.5 p=0.3 p=0.2 p=0.1 图4－6 R(D)=H(p)－H(D)，p为参数 * （ 4.3） 且 （ 4.4） （ 4.5） 证： 1） 定义域下界： 对x的每一取值 ，令对应最小的 条件概率p(bj|ai)为1 , 其余条件概率为零，就得到Dmin 。 1． R(D)的定义域为 * 2）定义域上界： R(D)为平均互信息，所以R(D)≥0。在较大范围内 求极小值一定不大于在所含小范围内求的极小值，所 以D1D2 = R(D1) ≤R(D2)，即R(D)是D的非增函数。 当XY独立时，R(D) ≤I(X;Y)=0，当D继续增加，R(D) 仍然为0。所以，Dmax是使R(D)=0的最小平均失真。当 x,y独立时，p(x,y)=p(x)p(y) ，有 由于 已给定，而且对不同y， 也可能有不同的值。所以，求 ，并使对 应的p(y)=1，其余为0。这样就可使平均失真最小。所 以得到（ 4.5）式。 证毕。 * 例4.3 设试验信道输入符号 ，概率分别为1/3，1/3，1/3，失真矩阵如下所示，求Dmin和Dmax和相应的试验信道的转移 概率矩阵。 解 = 1 令对应最小 的