信息论基础第二章讲义总结报告.ppt

上面两种证明方法是信息论中 经常用到的证明方法 证明方法二：利用log x的∩型凸函数性质 = log 1 = 0 证毕 H(X)-log M 3．熵函数的性质 （1）对称性 集合X = {x1，x2，…，xN }中的各元素x1，x2，…，xN任意改变其顺序时，熵只和分布（概率）有关，不关心某个具体事件对应哪个概率。 例如 和 的熵是相等的。 （4）扩展性：离散事件集 ，增加一个 不可能事件xN+1后，得到集合，δ→0，则两个集合的熵相等 （2）非负性：H(X)? 0 （3）确定性：在集合X = (x1，x2，…，xN)中，若有一个事件是必然事件，则其余事件必为不可能事件，即该集合的概率分布为 （5）可加性： 集合X = {x1，x2，…，xi，xi+1，…，xN}的概率分布为： 则下式成立： H(X)= H(x1，x2，…，xi，xi+1，…，xN) （2-25） （6）条件熵小于等于无条件熵 即：H (X︱Y) ? H (X) X,Y 统计独立时等号成立。 （7） 联合熵大于等于独立事件的熵，小于等于两独立事件熵之和，即： （2-26） H (XY) ? H (X) + H (Y) （2-27） 2．3离散集的平均互信息量 如果将发送符号与接收符号看成两个不同的“信源”，则通过信道的转移概率来讨论信息的流通问题，一次通信从发送到接收究竟能得到多少信息量呢，这就是本节要讨论的平均互信息量。 1．平均互信息量 定义xi ∈ X和yj ∈ Y之间的互信息量为I(xi ;yj )，在集合X上对I(xi ;yj )进行概率加权统计平均，可得I(X;yj)为： （2-28） 2．3．1 平均互信息量 再将式（2-28）对集合Y进行统计平均，就可以得到平均互信息量 （2-30 ） 当X,Y统计独立时，I(xi ;yj )= 0，从而I(X ; Y)= 0 【例2.14】二元等概信源 ，通过信道转移 概率为 的信道传输，信宿接收符号Y = {y0, y1}， 计算信源与信宿间的平均互信息量I（X；Y）。 ?????（1）? 先根据 计算出 （2）??由 计算后验概率 （3）计算各消息之间的互信息量I(xi ;yj ) （比特） （比特） （比特） （比特） （4）?????? 计算