信息论与编码技术--互信息和条件互信息量.pptVIP

信息论与编码技术 2.3 互信息量和条件互信息量 2.3.1 互信息量 一、互信息量的定义 【思考】当接收端收到某个消息后，能确定它是由发送端发出的某个消息得到的吗？ 后验概率的引入 由于实际通信中存在干扰，假设接收端收到消息为yj， yj可能与xi相同，也可能不同，则需要利用后验概率p(xi|yj)反映接收端收到消息yj而发送端发出的是xi的概率。 接收端收到yj后， 发送端发出的是否为xi尚存在的不确定性应为： 后验概率的引入 在接收端收到yj后，已经消除的不确定性为先验的不确定性减去尚存在的不确定性。接收端获得的信息量为： 【定义】对两个离散随机时间集X和Y，事件yj的出现给出关于xi的信息量，即为互信息量。 【说明】互信息量I(xi;yj)是已知事件yj后所消除的关于事件xi的不确定性 互信息量 二、互信息量的单位 与自信息量单位完全一致。 取决于对数的底数。 【通信理论中，常用的仍为以2为底的对数。】 【推论1】 互信息量可以表示为事件xi本身的不确定性I(xi)减去已知事件yj后对xi仍然存在的不确定性I(xi|yj)。 三、推论 三、推论 【推论2】 互信息量等于自信息量减去联合自信息量。 三、推论 【推论3】如果信道没有干扰，信道的统计特性使xi以概率“1”传送到接收端。这时，接收方接到消息尚存在的不确定性就等于零，即 p(xi|yj)=1 - log(p(xi|yj)=0 也就是说，不确定性全部消除。由此得互信息量：I(xi;yj)= I(xi) 四、互信息量的物理意义 如果过把X和Y看作是信源的输出和信宿的输入，即把xi看成是信源发出的符号消息，yj看成是经过信道传输后信宿收到的符号消息，那么，由于信宿已经收到符号yj，如果yj与xi相关，则xi的条件自信息量I(xi|yj)必然要比它的自信息量I(xi)有所下降，这一下降的信息量就是消息符号从信源传到信宿的信息量。 四、互信息量的物理意义 可见，互信息量实际上是信道传递的信息量。因此，互信息量的大小反映了一个信道的传信速率。互信息量的引入，使信息的传递得到了定量的表示，是信息论发展的一个重要里程碑 。 2.3.2 互信息量的性质 对称性——互易性 【证明】见板书。 2.3.2 互信息量的性质 对称性——互易性 假如先验概率确定了，其后验概率就决定了信息的流通。 2.3.2 互信息量的性质 当X和Y统计独立时，互信息量为0 。 【证明】 (方法1) 利用定义，见课本P12。 (方法2) 利用推论2，见板书。 2.3.2 互信息量的性质 【说明】该性质表明xi和yj之间不存在统计约束程度，从yj得不到关于xi的任何信息，反之亦然。 2.3.2 互信息量的性质 互信息量可为正值或负值。 2.3.2 互信息量的性质 当后验概率大于先验概率时，互信息量为正值。 当后验概率小于先验概率时，互信息量为负值。 后验概率与先验概率相等时，互信息量为0，这就是两个随机事件相互独立的情况。 2.3.2 互信息量的性质 【说明】 如果互信息量I(xi;yj)取负值时，说明信息在收到消息Y后，不但没有使X的不确定减少，反而使X的不确定增加，所以获得的信息量为负值。 这是由于通信受到干扰（噪声）或发生错误所造成的。 2.3.2 互信息量的性质 任何两个事件之间的互信息量不可能大于其中任一事件的自信息量。 【证明】见板书。 2.3.2 互信息量的性质 【说明】 互信息量是描述信息流通特性的物理量，流通量的数值当然不能大于被流通量的数值。 可见，某一事件的自信息量是任何其他事件所能提供的关于该事件的最大信息量。 2.3.3 条件互信息量(自学) 【定义】联合集XYZ中，在给定zk的条件下，xi与yj之间的互信息量定义为条件互信息量。 2.3.3 条件互信息量(自学) 【推论1】 【证明】 将上式分子分母同乘以p(xi|zk)，得 2.3.3 条件互信息量(自学) 【说明】 事件yj zk出现后所消除的关于事件xi的不确定性 = (事件yj出现后消除的关于事件xi的不确定性) + (先出现事件yj再出现zk后消除的关于事件xi的不确定性) 2.3.3 条件互信息量(自学) 【推论2】条件互信息量与条件自信息量的关系式