平均互信息I（X；Y）.pptVIP

第二章 信息的度量 徐州工程学院 燕善俊 主要学习内容 一、自信息量和互信息量 二、平均自信息量及其性质 三、联合熵与条件熵 四、平均互信息量及其性质 1、平均互信息 定义2.6 互信息 I( xi ; yj )在 X 与 Y 的联合概率空间中的统计平均值为随机变量 X 和 Y 间的平均互信息。 进一步推导 含义的理解 H（ X ）：表示信源 X ，在统计平均的意义上每发出一个消息所含有信息量的多少； H（X / Y）：表示在统计平均的意义上，信源Y 发出一个消息后，信源 X 再发出一个消息时，每个消息所含有的信息量； I（X；Y）：表示在统计平均的意义上，信源Y 每发出一个消息，能够提供的对信源 X 的每个消息的信息量,即信源 X 每个消息所含信息量的减少量。 例2.6 掷骰子，若结果是1,2,3或4，则抛一次硬币；如果结果是5或者6，则抛两次硬币。 现用X表示掷骰子结果：若结果是1,2,3或4，则X=0；如果结果是5或者6，则X=1。用Y表示抛硬币出现正面的次数。 试计算从抛硬币的出现正面的次数Y来得到掷骰子结果X的信息量,即求I(X; Y). P(X)易得，P(Y/X)也不难求，故利用互信息的第二种公式求法易求I(X; Y). 2、平均互信息的性质 （1）非负性 （2）互易性 （3）平均互信息和各熵的关系 图形表示 特殊情况 当随即变量 X 与 Y 互相独立时 ， X、Y之间有依赖关系时 X、Y相互独立时 （4）极值性 （5）凸函数性 （5）凸函数性（续） 定理2.1 当条件概率分布{ p (yj / xi) }给定时，平均互信息 I（X；Y）是输入分布{ p ( xi ) }的上凸函数。 说明：当条件概率分布{ p (yj / xi) }给定时，存在一种输入分布，在该输入分布下，平均互信息 I（X；Y）能取的最大值。 定理2.2 对于固定的输入分布{ p (xi) }，平均互信息量I（X；Y）是条件概率分布{ p (yj /xi) }的下凸函数。 说明：当输入分布{ p (xi) }给定时，存在一种条件概率分布，在该条件概率分布下，平均互信息 I（X；Y）能取的最小值。 3、数据处理定理的含义 定义2.7 平均条件互信息 图形表示 定义2.8 平均联合互信息 图形表示 两者的关系 定理2.3 （数据处理定理） 如果随机变量 X，Y，Z 构成一个马尔科夫链，则有以下关系成立： 等号成立的条件是：对于任意的 x , y , z ,有 p( x/ y z )=p (x /z)和 p (z/ x y) =p (z /x). 图形表示 定理说明的问题 在任何信息传输系统中，最后获得的信息量至多是信源所提供的信息量，一旦在某一个过程中丢失一些信息，以后的系统不管如何处理，如不触及丢失信息的输入端，就不能再恢复已丢失的信息，这就是信息不增性的原理，反映了信息的物理意义。 总结 1、平均互信息的含义与计算方法 2、平均互信息的性质 3、数据处理定理的含义 * * 符号 图示 符号 图示 影响平均互信息取值的因素由哪些？ *