第二章-信息论基本概念(1)..pptVIP

4. 扩展性： 信源含有的新增消息为小概率时，熵不变 5. 确定性：某消息取值概率为1时，熵为0 6. 可加性： H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y) 7. 极值性 * 8.上凸性 [含义] 熵H(P) ～P(概率分布p(xi))为上凸曲线 [意义] 上凸曲线有最大值 [结论] H(X)max=log2m （等概） (2) xi对yj的互信息 I(yj;xi) [含义] 信源发xi前、后，信宿收到yj的不确定度的减少 (3) I(xi;yj) =I(xi) +I(yj) -I(xi，yj) [注意] I(xi;yj) 与I(xi，yj) 不同！ * (4) 实在信息： 后验概率p(xi|yj)＝1，即收到yj时就能完全肯定此时的输入一定是xi ， xi的后验不确定性完全消除。 即从输出结果中得到了输入实有的全部信息——实在信息： [注意] a. 输入的先验不确定性 在数值上等于自身含有的实在信息。 b. 信息与不确定性是两个不同的物理概念， 不是信息，只是不确定性，互信息量 才是信息，把 当作信息只是说明一种数量上的相等关系。 胡扯 * (4) 互信息量定义扩展： 符号xi与符号对yj zk之间的互信息量定义为 * 2. 互信息的性质（具体推导可见课本p24） (1) 对称性——I(xi ;yj) = I(yj ;xi) (2) X与Y独立时——I(xi ;yj) = 0 (3) I(xi;yj) 可为正、负、0 当事件xi 和yj 统计独立时，互信息量为零;互信息量为正，说明yj 的出现有助于减小xi 的不确定性；反之，互信息量为负说明yj 的出现增大了xi 的不确定性（比如信道存在干扰）。 (4)任何两个事件之间的互信息量不可能大于其中任意事件的自信息量 I(xi) I(xi; yj) = I(yj; xi) ≤ I(yj) * I(xi;yj) 可为正、负、0的举例 设yj代表“闪电”，则 当xi代表“打雷”时，I(xi/yj) = 0，I(xi;yj) = I(xi) ＞0 当xi代表“下雨”时，I(xi/yj) ＜I(xi)，I(xi;yj) ＞0 当xi代表“雾天”时，I(xi/yj) = I(xi)，I(xi;yj) = 0 当xi代表“飞机正点起飞”时，I(xi/yj)＞I(xi)，I(xi;yj) ＜0 * 3. 条件互信息量 给定zk条件下，xi 与yj间的互信息量是 另外，还存在xi 与yjzk 之间的互信息量： * （该式推导见p25-26） 由上述两式得 说明：一个联合事件yjzk 出现后提供的有关xi的信息量=zk事件出现后提供的有关xi的信息量＋在给定zk条件下再出现yj事件后所提供的有关xi的信息量 * 4. 关于互信息的例子 已知信源发出 两种消息，且 此消息在二进制对称信道上传输，信道传输特性为： 求互信息量 解：根据 得到： * 一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量。 解: 依据题意，这一随机事件的概率空间为 （三) 平均自信息量--熵 * 其中：x1表示摸出的球为红球事件，x2表示摸出的 球是白球事件。 如果摸出的是红球，则获得的信息量是 I（x1）=-log2p（x1）=-lb0.8=0.322bit 如果摸出的是白球，则获得的信息量是 I（x2）= -log2p（x2）=-lb0.2=2.322bit 如果每次摸出一个球后又放回袋中，再进行下一次摸取。如此摸取n次，则红球出现的次数为np（x1）次，白球出现的次数为np（x2）次。随机摸取n次后总共所获得的信息量为 np（x1）I（x1）+np（x2）I（x2） * 则平均随机摸取一次所获得的信息量为 H（X）= 1/n[np（x1）I（x1）+np（x2）I（x2）] = -[p（x1）log2p（x1）