讲义22 - 第一章引论.docVIP

2-5 平均交互信息量的特性 平均交互信息量I(X,Y)在统计平均的意义上，描述了信源、信道、信宿组成的通信系统的信息传输特性。这一节将进一步讨论I(X,Y)的数学特性，重点介绍其特性的结论和其物理意义。 2-5-1 I(X,Y)的非负性 当x为大于0的实数时，底大于1的对数logx是x的严格上凸函数，可以证明若f(x)为上凸函数，则有：f{∑pixi}≥∑pif(xi)，如f(x)=logx，则有： log{∑pixi}≥∑pilogxi 根据这个关系，考虑平均交互信息量， I(X,Y)= ∑∑p(xi,yj)log[p(xi,yj)/p(xi)p(yj)] 则： -I(X,Y)= ∑∑p(xi,yj)log[p(xi)p(yj)/p(xi,yj)] ≤log∑∑p(xi,yj)[p(xi)p(yj)/p(xi,yj)] =log{∑p(xi) ∑p(yj)}=0 所以有：I(X,Y) ≥0 只有当P(X,Y)=P(X)P(Y),即对于所有的i=1,2,…n, j=1,2,…m。都有： p(xi,yj)=p(xi)p(yj)，才有：I(X,Y)=0 交互信息量可能出现负值，但平均交互信息量不可能出现负值。 接收者收到一个Y的符号，总能从中获取道关于信源X的信息量，只有当XY相互独立时，平均交互信息量才为0。 由I(X,Y)=H(X)-H(X/Y)，可知，在信息传输过程中，后验熵不可能大于先验熵，这种特性称为后熵不增加原理。 当XY相互独立时，p(xi,yj)=p(xi)p(yj) 可得：H(X,Y)=H(X)+H(Y) 当XY相互独立时，p(yj/xi)=p(yj) 可得：H(Y/X)=H(Y) 当XY相互独立时，p(xi/yj)=p(xi) 可得：H(X/Y)=H(X) 由交互信息量的定义可知： I(X,Y)=H(X)+H(Y)-H(X,Y) =H(X)-H(X/Y) =H(Y)-H(Y/X)=0 2-5-2 平均交互信息量的交互性 p(xi,yj)=p(yj,xi) 则：I(X,Y)=I(Y,X) 交互性表明在Y中含有关于X的信息，I(X,Y)；在X中含有关于Y的信息，I(Y,X)；而且两者相等。实际上I(X,Y)和I(Y,X)只是观察者的立足点不同，对信道的输入X和输出Y的总体测度的两种表达形式。 两个园相交的部分为平均交互信息量，可见，平均交互信息量的大小体现了X和Y的相关程度。X和Y相互独立，交互性最小，I=0； X和Y完全相关，交互性最大，I=H(X)=H(Y)；H(X/Y)=H(Y/X)=0，相当于信道无信息损失。 [例] 下列为X和Y完全相关的例子。 x1 1 y1 x1 1 y1 x2 1 y2 x2 1 y2 x3 1 y3 y3 1 y3 x1 1 y1 x1 1 y1 x2 1 y2 x2 1 y2 x3 1 y3 x3 1 y3 其相应的信道转移矩阵分别为： [P1]= 1 0 0 [P2]= 1 0 0 0 1 0 0 0 1 0 0 1 0 1 0 [P3]= 0 1 0 [P4]= 0 0 1 1 0 0 0 1 0 0 0 1 1 0 0 这种信道的特点是：n=m，每行只有一个元素为1，每列只有一个元素为1。其转移概率不为1，就为0。这时有： 所以有：I(X,Y)=I(Y,X)=H(X)=H(Y) 2-5-3 平均交互信息量的极值性 平均交互信息量I(X,Y)H(X)， 证明：因为H(X/Y) ≥0 所以有I(X,Y)=H(X)-H(X/Y)≤H(X) (作业) 同样可以证明：H(Y/X) ≥0 所以有I(X,Y)=H(Y)-H(Y/X)≤H(Y) (作业) 疑义度、噪声熵总是大于等于0，平均交互信息量总是小于信源熵或信宿熵。 在信道的输出端Y得到的关于输入端X的信息量不会超过信源X的平均信息量。 [例2-9] 扩展性无噪声信道。当信道输入一个X值，相应有几个Y值输出，且互不重合，这时条件熵（疑义度）H(X/Y)=0，且H(Y)≥H(X)。看三种这样的信道： x1 1/3