ITD第四章2信息率失真函数的性质.pptVIP

第 十 一 讲 2003年6月 4.1.4 信息率失真函数的性质 1．如何确定R（D）函数的定义域? R（D）函数的定义域 D ［0，Dmax］ 说明: (1) 由于D是非负实数d（x,y）的数学期望，因此D也是非负的实数，非负实数的下界是零, 所以D的下界是零. (2) R（D）＝ R（0）＝H（X） 对应于无失真情况，相当于无噪声信道， 此时信道传输的信息量等于信源熵 (3) 对于连续信源来说，由于其信源熵只有相对意义，而真正的熵为，当D=0时相当于严格无噪声信道，通过无噪声信道的熵是不变的，所以 R（D）＝R（0）＝Hc（x）＝ ∞ 因为实际信道总是有干扰的，其容量有限，要无失真地传送这种连续信息是不可能的。当允许有一定失真时，R（D）将为有限值，传送才是可能的。 (4) 由于I（X;Y）是非负函数，而R（D） 是在约束条件下的I（X;Y）的最小值，所以R（D）也是一个非负函数，它的下限值是零。取满足R（D）＝0的所有D中最小的，定义为R（D）定义域的上限Dmax,, 即Dmax是满足R（D）＝0的所有平均失真D中的最小值。因此可以得到R（D）的定义域为D［0,Dmax］。 (5) 如何计算Dmax? R（D）＝0就是I（X;Y）＝0，这时试验信道输人与输出是互相独立的，所以条件概率p（yj/xi）与xi无关。即 Pij＝P（yj／xi）=P（yj）＝pj 这时平均失真为 式中dij＝d(xi,yj) 例4-1-4 设输人输出符号表为X＝Y={0，1}，输人概率分布p（X）={1/3,2/3}，失真矩阵为 解: (输出符号概率：p(y1)=0,p(y2)=1) 例4-1-5 设输人输出符号表为X＝Y={0，1}，输人概率分布p（X）={1/3,2/3}，失真矩阵为 解: 2. R(D)函数的下凸性和连续性 4.1 定理 R（D）在定义域内是下凸的 证明: 令 其中： 是使I（Pij）达到极小值的 ，且保证 D≤D’。 同理： R（ ）＝I（ ） 令 先证明 是 的元。 已知 利用I（Pij）的下凸性，可得 4.2 定理: R（D）在定义域内是连续的 证明: 设 D”=D＋ ，当 时， 。 由于 I（Pij）是 Pij的连续函数，即当 ，有 这就是连续性。 3．R（D）函数的单调递减性 4.3 定理 : R（D）在定义域内是单调递减的 证明： 令 D＞D’ 则 于是 上式中的不等式是因为PD包含了PD‘, 在—个较大范围内求得的极小但必然不会大于其中一个小范围内的极小值，所以R（D）是非递增的函数。现在再证明上式中的等号不成立，用反证法。 设有0＜D”＜D”＜Dmax，令 R（D’）＝I（P’ij） R（Dmax）＝I（P’’ij）＝0 对于足够小的 ，必有 可见R（Da）≠R（D’）。因此R（D）是严格单调递减的。 本节小结 当规定了允许失真D，又找到了适当的失真函数dij，就可以找到该失真条件下的最小信息率R（D），这个最小信息率是一个极限数值。用不同方法进行数据压缩时（前提是都不能超过失真限度D），其压缩的程度如何，R（D）函数是一把尺子。由它可知是否还有压缩潜力，潜力有多大。 第二节 离散信源和连续信源的R(D)计算 问题: 假设已给定信源概率Pi和失真函数dij，在约束条件下，求信源的R（D）函数的极小值问题 ? R（D）三种特殊表示 (1) 当d(x,y)=(x-y)2, p(x)= 时， R（D）= (2) 当d(x,y)= p(x)= 时， R（D）= (3) 当D(x,y)= 时，R（D）=H（p）- H?（D） R（D）曲线见图4-2-1 分析： (1) 它们都有一最大失真值 Dmax．对应 R（D）＝0。当允许的平均