第五章 信息率失真函数及限失真信源编码.pptVIP

第五章 信息率失真函数及限失真信源编码 5.1 信息率失真函数概念和定义 5.2 信息率失真函数R（D）的性质 5.3 离散信源的R(D)函数的计算 5.4 连续信源的R(D)函数 5.5 限失真信源编码定理（香农第三定理） 5.6 限失真信源编码原理 5.1 信息率失真函数概念和定义 若X集有N个符号，Y集有M个符号时，则联合集上 有N×M个不同i、j取值的失真函数。 失真函数dij的二种表示方式： （1）矩阵表示法 （2）连线表示法 平均失真度：失真函数的统计平均值（数学期望）D数学式为： 两个L维矢量之间的失真函数为： 信源的平均失真度： 若平均失真度不大于所允许的失真，则称为保真度 准则。 二、信息率失真函数（率失真函数） 当某条件概率P(yj/xi)能使互信息I最小，此时的I就 称为在保真度准则下所必须具有的最小信息速率， 用R(D)表示。 数学式为：R(D)＝minI(X;Y)＝minI(X;Y) 其中PD为满足失真条件的转移概率Pji的集合，D为 允许的失真。 信息率失真函数R(D)定义： 在给定信源消息的概率分布{P(xi)}及平均失 真函数允许值D的前提下，传输这些信源消息 并使其失真程度在允许范围内时，所需要的信 息传输速率的极小值。 R(D)反映了信源可以压缩的程度，是在满足一 定失真度要求下，信源可压缩的最低值，对不 同的信源，R(D)不同。 例：设信源符号有2n种，且等概，失真函数定义为：dij＝0（i＝j时），dij＝1（i≠j时），允许平均失真D＝1/2，要传送此信源，需要多少信息率？ 几个有用的结果： （1） （2） （3） 信息率失真函数参量表达式： 注意：参变数S是R(D)函数曲线的斜率，即： dR/dD＝S，由于R(D)曲线是单调递减的凹函数曲线，所以该曲线的斜率S为负值，同时，在D从0～Dmax过程中，S值逐渐增大（S的绝对值逐渐减小）。 二、二元信源和对称失真函数的R(D)函数 信源概率：p1＝p≤1/2，p2＝1－p≥1/2 失真函数： dij 可分别求得平均失真函数： 可得最大允许的失真度： 引用（2）式，得： 结果： 试验信道的传输概率： 可见：平均失真函数D就是平均误码率。 如图为不同信源概率值 的R(D)曲线： 显然Dmax＝p， R(Dmax)＝0 结论：在信源压缩问题中，规定D是一个困 难的任务。实际中，失真总是可以容忍的， 只是如何定义失真函数dij和规定可容许的D 值，D↑→压缩量↑→传输代价↓ 要发挥R(D)函数理论的作用，核心问题是研 究失真函数和平均失真值的合理性问题，这 须通过大量实验才能达到。 三、迭代算法 基本步骤： 1）任选一个Pji①代入 下式，求得各qj① 2）再代入下式求得各Pji②，依此类推，直到各阶段的R(S)值稳定为止。 5.4 连续信源的R(D)函数 一、定义和表达式 设：平均失真≤允许失真度时， {P(y/x)} ∈PD 则定义连续信源的率失真函数R(D)为： R（D）＝Inf I（P(y/x)） 与离散情况类似， 并设 得公式：（1） （2） （3） （4） 二、d(x,y)只与(x－y)有关时的求解法 令： 且： 最终得： 常用方法： （1）分别求出p(x)和g(x)的特征函数 （2） 则： （3） 若q0(x)符合概率密度函数的要求（非负性、归一性），就可得到R(D)函数的参量表达式。 例：设连续信源的变量x服从正态分布，即 定义失真函数且 求信息率失真函数R(D)。 解： 给定允许失真度 D＝－1/2S，即： 上式为正态变量在均方误差准则下的率失 真函数。 当 ＝1时的R(D)曲线 可见： 1）D＝1时，R(1)＝0； 2）D＞1时，R(D)保持为0， 与离散情况一致； 3）D＝0时，R(D) →∞， 与离散情况不同。 5.5限失真信源编码定理（香农第三定理） 限失真信源编码定理也称香农第三定理，是保真度准则 下的信源编码定理。（具体描述可参考相关教材） 限失真编码定理说明：当传输速率R＞R(D)时，只要 码长足够长，就一定存在一种编码方法，使平均失真 任意接近于D，否则这种编码不存在。 注意：不同的编码，将有不同的平均失真，希望找到 平均失真最小的编码，即最佳编码。 小结： 比较香农第一和第三定理可知，当信源给定后，无