信息论第二讲-离散信源地熵.pptVIP

⑵交互关系 由p(xi, yj)=p(xi) p(yj/xi)=p(yj) p(xi/yj) 可以得到如下结果： I(xi, yj)=I(xi)-I(xi/yj)=I(yj)-I(yj/xi) I(xi,yj)=I(yj, xi) 称为交互信息量 ⑶两个公式 由以上两个公式可以看到： 只要已知某一个信源符号的先验概率及相应的转移概率，就可以得到相应的交互信息量。 ⑷后验概率与交互信息量 已知交互信息量=log(后验概率/先验概率)， 这里分析后验概率对交互信息量的影响。 H(xi/yj)=0 收到yj后可以准确无误地判断xi，相当于无噪声信道，收到yj获得的信息量就等于xi的自信息量。 H(xi)H(xi/yj) 收到yj后判断信源发出xi的概率，大于收到yj之前判断信源发出xi的概率，通信后接收者对信源符号xi的不确定度减少了，获得的信息量大于0。 H(xi)=H(xi/yj) 收到yj后判断信源发出xi的概率，等于收到yj之前判断信源发出xi的概率，通信后接收者对信源符号xi的不确定度没有变化，获得的信息量等于0。 H(xi)H(xi/yj) 收到yj后判断信源发出xi的概率，小于收到yj之前判断信源发出xi的概率，通信后接收者对信源符号xi的不确定度不但没减少，反而增加了，获得的信息量小于0。 离散无记忆信道－DMC 离散无记忆信道