限失真信源与信息率失真函数R(D)精选.doc

第四章 限失真信源与信息率失真函数R(D) §4-1 引言 （一） 引入限失真的必要性： 失真在传输中是不可避免的; 接收者（信宿）无论是人还是机器设备，都有一定的分辨能力与灵敏度，超过分辨能力与灵敏度的信息传送过程是毫无意义的; 即使信宿能分辨、能判别，但对通信质量的影响不大，也可以称它为允许范围内的失真； 我们的目的就是研究不同的类型的客观信源与信宿，在给定的Qos要求下的最大允许（容忍）失真D，及其相应的信源最小信息率R(D). 对限失真信源，应该传送的最小信息率是R(D)，而不是无失真情况下的信源熵H(U). 显然 H(U)≥R(D). 当且仅当 D=0时，等号成立； 为了定量度量D，必须建立信源的客观失真度量，并与D建立定量关系； R(D)函数是限失真信源信息处理的理论基础； （二） R(D)函数的定义 信源与信宿联合空间上失真测度的定义：: 其中： （单消息信源空间） （单消息信宿空间） 则有 称为统计平均失真，它在信号空间中可以看作一类“距离”，它有性质 1〉, 当 2〉 3〉 对离散信源：i=j=1,2……..n, 则有： 若取 为汉明距离，则有： 对连续信源，失真可用二元函数d(u,v)表示。 则有： 推而广之，d(u,v)可表示任何用v表达u时所引进的失真，误差，损失，风险，甚至是主观感觉上的差异等等。 进一步定义允许失真D为平均失真的上界： --对离散 在讨论信息率失真函数时，考虑到信源与信宿之间有一个无失真信道，称它为试验信道，对离散信源可记为，对限失真信源这一试验信道集合可定义为： 根据前面在互信息中已讨论过的性质： 且互信息是的上凸函数，其极限值存在且为信道容量： 这里，我们给出其对偶定义： 即互信息是的下凸函数。其极限值存在且为信息率失真函数。 它还存在下列等效定义： 称D(R)为失真信息率函数，是R(D)的逆函数，它是求在允许最大速率情况下的最大失真D。 至此，我们已给定R(D)函数一个初步描述。 由定义，R(D)函数是在限定失真为最大允许失真为D时信源最小信息速率，它是通过改变试验信道特性（实际上是信源编码）来达到的。所以R(D)是表示不同D值时对应的理论上最小信息速率值。 然而对于不同的实际信源，存在着不同类型的信源编码，即不同的试验信道特性并可以求解出不同的信息率失真R’(D)函数，它与理论上最佳的R(D)之间存在着差异，它反映了不同方式信源编码性能的优劣，这也正是R(D)函数的理论价值所在。特别对于连续信源，无失真是毫无意义的，这时R(D)函数具有更大的价值。 例：若有一个离散、等概率单消息（或无记忆）二元信源： ,且采用汉明距离作为失真度量标准：即 若有一具体信源编码方案为：N个码元中允许错一个码元，实现时N个码元仅送N-1个，剩下一个不送，在接收端用随机方式决定（为掷硬币方式）。此时，速率R’及平均失真D相应为： 若已知这一类信源理论上的（后面将进一步给出计算），则有 阴影范围表示实际信源编码方案与理论值间的差距，我们完全可以找到更好，即更靠近理论值，缩小阴影范围的信源编码，这就是工程界寻找好的信源编码的方向和任务。 §4-2 R(D)函数的性质 讨论R(D)性质以前先简要介绍R(D)的定义域。 对离散： 对应R(D)值： 。 对连续： R(D)函数性质可用下列定理总结： 定理4－2－1：对离散、单个消息限定失真信源，其R(D)函数满足下列性质： （1）R(D)是D的下凸（）函数； （2）R(D)是D的单调非增函数； （3）R(D)是D的连续函数； （4）； 证明：（1）证明思路：根据R(D)函数定义，与下凸函数定义，只需证明： 首先证，再利用互信息对的下凸性。即：若用与表示达到与时的条件分布，且 则有： 这里， 由 可得 再利用互信息对的下凸性，有 （2）设 则 即R(D)是D的单调非增函数。 （3）设。 由定义，有。 同时，由于是连续函数。 即当 有 即，R(D)是D的连续函数。 （4）当，即无失真时，，一一对应 §4-3 离散信源R(D)函数计算： 可见，求解R(D)实质上是求解互信息的条件极值，可采用拉氏乘子法求解。但是，在一般情况下只能求得用参量（R(D)的斜率S）来描述的参量表达式，并借助计算机进行迭代运算。 由信道容量C与R(D)数学上对偶关系： 其迭代运算与求信道容量迭代运算相仿的。在正式讨论R(D)迭代运算前，这里，我们先介绍特殊情况下的R(D)计算。 具有等概率、对称失真信源的R(D)计算： 例1：有一个二元等概率平稳无记忆信源U，且失真函数为： 试求其R(D)=? 解：由： 为了运算方便，取 上式中，已知：，D（允许