4.2 离散无记忆信源R(D)的计算.pptVIP

第4章 信息率失真函数 4.1 基本概念 4.2 离散无记忆信源R(D)的计算 4.3 连续无记忆信源R(D)的计算 4.4 信道容量和信息率失真函数的比较 4.2 离散无记忆信源R(D)的计算 参量表达式法求R(D)及P(Y/X)，具体推导略，见p111页。 例：已知离散无记忆信源 4.2 离散无记忆信源R(D)的计算 解：（1） R(D)随D的变化曲线 结论： 对于n元等概信源，有 ，当失真函数为对称失真时， 即 此时下式成立： 4.1 基本概念 4.2 离散无记忆信源R(D)的计算 4.3 连续无记忆信源R(D)的计算 4.4 信道容量和信息率失真函数的比较 例：求d(x,y)=(y-x)2的Dmax和信息率失真函数R(D)。 解：连续信源的Dmax， 均方失真的连续信源的R(D) 例：设某连续信源X服从高斯分布，均值μ=0，方差σ2，失真函数为均方失真即d(x,y)=(y-x)2 求它的信息率失真函数R(D)和Dmax。 解： 上题的扩展：若连续信源服从（μ，σ2）的高斯分布，则再求上题。 解： 结论： 若失真函数为均方失真，即d(x,y)=(x-y)2时,连续信源的信息率失真函数 ，且 同理：当失真函数为绝对失真即d(x,y)=|x-y|时，指数分布的连续信源，当概率密度函数为 4.1 基本概念 4.2 离散无记忆信源R(D)的计算 4.3 连续无记忆信源R(D)的计算 4.4信道容量和信息率失真函数的比较 4.4 信道容量和信息率失真函数的比较 相同点：二者都是求平均互信息的极值 不同点： 1、 （1）信道容量：选择某一信源分布的情况下，求平均互信息的极大值。 依据：平均互信息I是信源概率分布p(xi)的严格上凸函数。 （2）信息率失真函数：求选择某一试验信道（转移概率分布）的情况下，依据保真度准则，求平均互信息的极小值。 依据：平均互信息I是信道转移概率分布p(yj/xi)的严格下凸函数。 4.4 信道容量和信息率失真函数的比较 2、 （1）信道容量C一旦求出来，则与信源分布无关（只是证明存在这样的满足信道容量的信源分布），只和信道转移概率分布p(yj/xi)有关。即信道容量和信源特性无关，反映信道特性。 （2）信息率失真函数R(D)一旦求出来，则与信道转移概率分布无关（只是证明存在达到最小信息率的试验信道），只和信源概率分布p(xi)有关。即信息率失真函数和信道特性无关，反映信源特性。 4.4 信道容量和信息率失真函数的比较 3、 （1）信道容量是通过信道编码增加信息冗余度来提高通信的可靠性，是信息传输的理论基础。 （2）信息率失真函数是通过信源编码减少信息冗余度来提高通信有效性，是信源压缩的理论基础。 Thank You! * （2） H(p) Dmax=αp 可直接当结论来应用 因为离散信源： 可直接当结论来应用 因此，需求Dmax： 代入得 代入得 先求Dmax：