第二章-信息论基本概念.pptxVIP

(四） 平均互信息（平均交互信息熵/交互熵）;一、定义 1.Y对X： 2.X对Y： 3.合写： 【含义】 信道中流通信息量的整体测度 【注】由定义可看到，当X,Y各变量相互独立时，平均互信息为0。 【附】贝叶斯公式：p(xi,yj)=p(xi)p(yj/xi)=p(yj)p(xi/yj); 证明：  首先讨论互信息量在X集合上的统计平均值 I(X；yj)＝ P(xi|yj)I（xi ；yj） ＝ P(xi|yj)log2P(xi|yj)/P(xi) 平均互信息量I（X；Y）为I(X；yj)上述在Y集合上的概率加权统计平均值，即I（X；Y）为 I（X；Y）＝ P(yj)I（X ；yj） ＝ P(yj)P(xi|yj)log2P(xi|yj)/P(xi) ＝ P(xi，yj)log2P(xi|yj)/P(xi);二、物理意义 1. I(X;Y)= H(X) – H(X/Y)（可由定义直接推导！） (1) H(X)——信源熵：X的不确定度 H(X/Y)——已知Y时，对X仍剩的不确定度(疑义度） [结论] I(X;Y) ——“Y已知”，X的不确定度的减少了, 即获得了I(X;Y