第二章-信息论基本概念.pptVIP

4. 扩展性： 信源含有的新增消息为小概率时，熵不变 5. 确定性：某消息取值概率为1时，熵为0 6. 可加性： H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y) 7. 极值性 * 8.上凸性 [含义] 熵H(P) ～P(概率分布p(xi))为上凸曲线 [意义] 上凸曲线有最大值 [结论] H(X)max=log2m （等概） (2) xi对yj的互信息 I(yj;xi) [含义] 信源发xi前、后，信宿收到yj的不确定度的减少 (3) I(xi;yj) =I(xi) +I(yj) -I(xi，yj) [注意] I(xi;yj) 与I(xi，yj) 不同！ * (4) 实在信息： 后验概率p(xi|yj)＝1，即收到yj时就能完全肯定此时的输入一定是xi ， xi的后验不确定性完全消除。 即从输出结果中得到了输入实有的全部信息——实在信息： [注意] a. 输入的先验不确定性 在数值上等于自身含有的实在信息。 b. 信息与不确定性是两个不同的物理概念， 不是信息，只是不确定性，互信息量 才是信息，把 当作信息只是说明一种数量上的相等关系。 胡扯 * (4) 互信息量定义扩展： 符号x