第2章-信息度量互信息.ppt

第二章

信息的度量主要内容2.1信息量2.2香农熵2.3联合熵与条件熵2.4熵的性质2.5互信息量与平均互信息小结2.5互信息量与平均互信息输出随机变量Y与输入随机变量X的发生有一定关系。无干扰信道：收到某消息获得的信息量＝收到消息前关于某事件发生的不确定性＝信源输出的某消息中所含有的信息量2.5互信息量与平均互信息干扰信道：收到某消息获得的信息量＝消息不确定性减少的量＝(收到此消息前关于某事件发生的不确定性)－(收到此消息后关于某事件发生的不确定性)例：某地二月份天气构成的信源为收到消息y：“明天不是晴天”，求从中获得的关于x2的信息量。2.5.1互信息量1、互信息量定义在出现事件yj后所提供的关于事件xi的信息量称为事件xi与事件yj之间的互信息量。互信息量I(xi;yj)是已知事件yj后所消除的关于事件xi的不确定性。2.5.1互信息量在事件xi出现后所提供的关于事件yj的信息量站在输入端，信源发出xi前后对输出端出现yj的不确定度之差举例例：某地二月份天气构成的信源为收到消息y：“明天不是晴天”，求从中获得的关于x1,x2,x3,x4的信息量。x1I(x1;y)=0x2x3x4从y分别获得关于x2,x3,x4的信息量是1bit；或者说y使x2,x3,x4的不确定性各减少1bit2.5.1互信息量2、互信息的性质1）对称性从yj得到的关于xi的信息量I(xi;yj)与从xi得到的关于yj的信息量I(yj;xi)相同，只是观察的角度不同而已。2）X和Y相互独立时p(xiyj)=p(xi)p(yj)，互信息量2.5.1互信息量3）互信息量可正可负当p(xi|yj)p(xi)，I(xi;yj)0当p(xi|yj)p(xi)，I(xi;yj)0当p(xi|yj)=p(xi)，I(xi;yj)=0（独立）2.5.1互信息量4）互信息量与自信息量 I(xi;yj)≤I(xi)I(yj;xi)≤I(yj)极端情况：后验概率p(xi|yj)=1，即yj∈Y的出现唯一确定了事件xi∈X的出现，此时2.5.1联合互信息量3、联合互信息量一个联合事件yjzi发生后所提供的关于xi的信息量定义为称为事件xi与联合事件yjzk之间的联合互信息量2.5.1条件互信息量4、条件互信息量在z给定的条件下，事件xi与yj之间的互信息量定义为条件互信息量：条件互信息量的先验概率p(xi|zk)和后验概率p(xi|yjzk)均是在给定事件zk的条件下取值（与无条件互信息的不同）2.5.1条件互信息量一个联合事件yz发生后所提供的有关x的信息量I(x;yz)，等于z发生后提供的关于x的信息量I(x;z)与给定z条件下再出现y后所提供的有关x的信息量I(x;y/z)之和。例：设无失真信道的输入概率空间，Uu1u2u3u4u5u6u7u8p(u)1/41/41/81/81/161/161/161/16将各消息u∈U分别以三位二进制数0和1表示，并作为信道输出，如信道输入u4其输出为011。设信道将输出011，每观察到一位输出后，求：①各消息的后验概率(条件概率)②消息u4与所收到输出的互信息量例:信源可输出消息a1和a2，p(a1)=p(a2)=1/2,消息在二进对称信道上传输，信道传输特性为p(b1|a1)=p(b2|a2)=1-ε，p(b1|a2)=p(b2|a1)=ε。求互信息量I(a1;b1)和I(a1|b2)。解:p(ai)，p(bj|ai)－p(aibj)=p(ai)p(bj|ai)p(ai|bj)=p(aibj)/p(bj)已知p(a1)=p(a2)=1/2,p(b1|a1)=p(b2|a2)=1-ε，p(b1|a2)=p(b2|a1)=ε。求互信息量I(a1