第4章­信息率失真函数.ppt

注：这时所得的结果是以s为参量的表达式，而不是显式表达式，因而所得到的R(D)的表达式也是以s为参量的表达式。 参量s对应的限制条件为(4)式，它与允许的失真度D有关，所以，以s为参量就相当于以D为参量。 (4) [例6] 设离散信源 和接收变量： 并设失真矩阵为: 求该信源的信息率失真函数R(D)。 解：根据(4.2.4)式计算可得 ，由题已知， 根据参量表达式按如下步骤进行。 第一步：由式(4.3.14)求 第二步：由式(4.3.13)求 第三步：由式(4.3.16)求D(s)，将上述结果代入式(4.3.16)有 第四步：由式(4.3.17)求R(s) ： 应用式(4.3.11)，还可求得此时的试验信道转移概率： 4.4 连续无记忆信源的信息率失真函数 研究连续信源的信息率失真函数比离散信源更有实际意义，因为连续随机变量不可能用有限比特加以精确描述，即连续信源信息量为无限大，传送无限大信息量既无必要，也不可能。 所以连续信源的讨论都属于限失真范畴。 一、连续无记忆信源的信息率失真函数的定义 连续信源的平均失真度定义为： 通过试验信道获得的平均互信息为： 同样，确定一允许失真度D，凡满足平均失真小于D的所有试验信道的集合记为PD，则连续信源的信息率失真函数定义为： 二、高斯信源的信息率失真函数 对高斯信源，在一般失真函数下，其率失真函数是很难求得的，但在平方误差失真度量下，其率失真函数有简单的封闭表达式。 对平方误差失真，试验信道输入符号和输出符号之间失真为： 对应的平均失真度为： 在平方误差失真下，设允许失真为D，则高斯信源 的率失真函数为： 下图表示当 时， 的曲线。 三、连续无记忆信源信息率失真函数的参量表述 类似于离散信源，连续信源的率失真函数的计算也归结为求有约束极值的问题，不过在连续信源情况下试验信道的条件概率也是函数，所以，率失真函数的计算就变成求泛函的极值，即求： 的极小值，满足约束条件为： 约束条件下的泛函求极值问题和约束条件下的函数求极值问题类似，即利用拉格朗日乘子将问题转化为无约束极值问题，并用变分代替微分，对本节讨论的问题，等价于使下式的一阶变分为零： 其中 为待定函数，s为待定常数，其求解顺序完全类似于离散情况。 在此我们仅给出最终结论： 在连续无记忆信源下，达到信息率失真函数的试验信道的转移概率密度函数必需满足： 其中 此时的率失真函数 和失真D 满足参量方程： 需要说明的是，连续情况下的信息率失真函数与离散情况下信息率失真函数的一个主要差别在于当 时，由于连续信源的差熵 而使 从此意义上讲，连续信源的熵压缩编码是必不可少的。 四、差值失真度量下连续无记忆信源的信息率失真函数 一般情况下，连续无记忆信源下信息率失真函数的计算相当困难，绝大多数情况下无解析解。 但当连续信源的失真函数D (x,y)为x和y的差值形式如： |x-y|，(x-y)2时，可以较容易地采用参量表述式来求得其上、下限。 (1) 差值失真度量下率失真函数的Shannon下限 上式是香农首先得到的，因此称其右端为差值失真度量时连续信源的香农下限。 (2) 平方误差(差方)失真度量下率失真函数的上限 对均值为零，方差为的任意连续无记忆信源，在差方失真度量下的率失真函数满足如下结论： 上式中的等号当且仅当 时成立。 4.5 保真度准则下的信源编码定理 定理4.1 (保真度准则下的信源编码定理，香农第三定理) 设R(D)为一离散无记忆信源的信息率失真函数，并且有有限的失真测度D。对于任意 D ，以及任意长的码长k，一定存在一种信源编码C，其码字个数为 使编码后码的平均失真度 。 定理的含义是：只要码长k足够长，总可以找到一种信源编码，使编码后的信息传输率略大于(直至无限逼近)率失真函数R(D)，而码的平均失真度不大于给定的允许失真度，即： 由于R(D)为给定D前提下信源编码可能达到的传信率的下限， 所以香农第三定理说明了： 达到此下限的最佳信源编码是存在的。 实际的信源编码(无失真编码或先进行限失真编码后再进行无失真编码)的最终目标是尽量接近最佳编码，使编码信息传输率接近最大值，或者对给定的信源用尽量少的编码符号进行传输，而同时又能保证译码后能无失真地恢复信源。 编码后信息传输率的提高使每个编码