《信息论》研究生课程讲义.docVIP

2-5 平均互信息量的特性 平均交互信息量I(X,Y)在统计平均的意义上，描述了信源、信道、信宿组成的通信系统的信息传输特性。这一节将进一步讨论I(X,Y)的数学特性，重点介绍其特性的结论和其物理意义。 2-5-1 I(X,Y)的非负性 当x为大于0的实数时，底大于1的对数logx是x的严格上凸函数，可以证明若f(x)为上凸函数，则有：f{∑pixi}≥∑pif(xi)，如f(x)=logx，则有： log{∑pixi}≥∑pilogxi 根据这个关系，考虑平均互信息量， I(X,Y)= ∑∑p(xi,yj)log[p(xi,yj)/p(xi)p(yj)] 则： -I(X,Y)= ∑∑p(xi,yj)log[p(xi)p(yj)/p(xi,yj)] ≤log∑∑p(xi,yj)[p(xi)p(yj)/p(xi,yj)] =log{∑p(xi) ∑p(yj)}=0 所以有：I(X,Y) ≥0 只有当P(X,Y)=P(X)P(Y),即对于所有的i=1,2,…n, j=1,2,…m。都有： p(xi,yj)=p(xi)p(yj)，才有：I(X,Y)=0 互信息量可能出现负值，但平均互信息量不可能出现负值。 接收者收到一个Y的符号，总能从中获取道关于信源X的信息量，只有当XY相互独立时，平均互信息量才为0。 由I(X,Y)=H(X)-H(X/Y)，可知，在信息传输过程中，后验熵不可能大于先