限失真信源与信息率失真函数R(D).docVIP

第四章限失真信源与信息率失真函数R(D)

§4-1引言

〔一〕引入限失真的必要性：

失真在传输中是不可防止的;

接收者〔信宿〕无论是人还是机器设备，都有一定的分辨能力与灵敏度，超过分辨能力与灵敏度的信息传送过程是毫无意义的;

即使信宿能分辨、能判别，但对通信质量的影响不大，也可以称它为允许范围内的失真；

我们的目的就是研究不同的类型的客观信源与信宿，在给定的Qos要求下的最大允许〔容忍〕失真D，及其相应的信源最小信息率R(D).

对限失真信源，应该传送的最小信息率是R(D)，而不是无失真情况下的信源熵H(U).

显然H(U)≥R(D).

当且仅当D=0时，等号成立；

为了定量度量D，必须建立信源的客观失真度量，并与D建立定量关系；

R(D)函数是限失真信源信息处理的理论根底；

〔二〕R(D)函数的定义

信源与信宿联合空间上失真测度的定义：:

其中：〔单消息信源空间〕

〔单消息信宿空间〕

那么有

称为统计平均失真，它在信号空间中可以看作一类“距离”，它有性质

1〉,当

2〉

3〉

对离散信源：i=j=1,2……..n,

那么有：

假设取为汉明距离，那么有：

对连续信源，失真可用二元函数d(u,v)表示。

那么有：

推而广之，d(u,v)可表示任何用v表达u时所引进的失真，误差，损失，风险，甚至是主观感觉上的差异等等。

进一步定义允许失真D为平均失真的上界：

--对离散

在讨论信息率失真函数时，考虑到信源与信宿之间有一个无失真信道，称它为试验信道，对离散信源可记为，对限失真信源这一试验信道集合可定义为：

根据前面在互信息中已讨论过的性质：

且互信息是的上凸函数，其极限值存在且为信道容量：

这里，我们给出其对偶定义：

即互信息是的下凸函数。其极限值存在且为信息率失真函数。

它还存在以下等效定义：

称D(R)为失真信息率函数，是R(D)的逆函数，它是求在允许最大速率情况下的最大失真D。

至此，我们已给定R(D)函数一个初步描述。

由定义，R(D)函数是在限定失真为最大允许失真为D时信源最小信息速率，它是通过改变试验信道特性〔实际上是信源编码〕来到达的。所以R(D)是表示不同D值时对应的理论上最小信息速率值。

然而对于不同的实际信源，存在着不同类型的信源编码，即不同的试验信道特性并可以求解出不同的信息率失真R’(D)函数，它与理论上最正确的R(D)之间存在着差异，它反映了不同方式信源编码性能的优劣，这也正是R(D)函数的理论价值所在。特别对于连续信源，无失真是毫无意义的，这时R(D)函数具有更大的价值。

例：假设有一个离散、等概率单消息〔或无记忆〕二元信源：,且采用汉明距离作为失真度量标准：即假设有一具体信源编码方案为：N个码元中允许错一个码元，实现时N个码元仅送N-1个，剩下一个不送，在接收端用随机方式决定〔为掷硬币方式〕。此时，速率R’及平均失真D相应为：

假设这一类信源理论上的〔后面将进一步给出计算〕，那么有

阴影范围表示实际信源编码方案与理论值间的差距，我们完全可以找到更好，即更靠近理论值，缩小阴影范围的信源编码，这就是工程界寻找好的信源编码的方向和任务。

§4-2R(D)函数的性质

讨论R(D)性质以前先简要介绍R(D)的定义域。

对离散：

对应R(D)值：

。

对连续：

R(D)函数性质可用以下定理总结：

定理4－2－1：对离散、单个消息限定失真信源，其R(D)函数满足以下性质：

〔1〕R(D)是D的下凸〔〕函数；

〔2〕R(D)是D的单调非增函数；

〔3〕R(D)是D的连续函数；

〔4〕；

证明：〔1〕证明思路：根据R(D)函数定义，与下凸函数定义，只需证明：

首先证，再利用互信息对的下凸性。即：假设用与表示到达与时的条件分布，且

那么有：

这里，

由

可得

再利用互信息对的下凸性，有

〔2〕设那么

即R(D)是D的单调非增函数。

〔3〕设。

由定义，有。

同时，由于是连续函数。

即当有

即，R(D)是D的连续函数。

〔4〕当，即无失真时，，一一对应

§4-3离散信源R(D)函数计算：

可见，求解R(D)实质上是求解互信息的条件极值，可采用拉氏乘子法求解。但是，在一般情况下只能求得用参量〔R(D)的斜率S〕来描述的参量表达式，并借助计算机进行迭代运算。

由信道容量C与R(D)数学上对偶关系：

其迭代运算与求信道容量迭代运算相仿的。在正式讨论R(D)迭代运算前，这里，我们先介绍特殊情况下的R(D)计算。

具有等概率、对称失真信源的R(D)计算：

例1：有一个二元等概率平稳无记忆信源U，且失真函数为：

试求其R(D)=?

解：由：

为了运算方便，取

上式中，：，D〔允许失真〕给定。

那么一一对应。

这时，由概率归一性，可进一步假设：

可见：