信息与信息资源(复件).ppt

3．信息的度量 ? 3．1．信息量的概率分析： 3．1．1．基本原理 信息量的大小与原来事件发生的概率有关，也就是与信息所消除的对事物认识不确定程度有关。原来事件发生的概率越小，所提供的准确信息能在较大程度上消除对事物认识的不确定性，因此，这一准确信息的信息量越大。原来事件发生的概率越大，提供的准确信息后所消除对事物认识的不确定性较小，其信息量就小。 信息熵H（x）是信源整体的不确定性程度的量 信息熵的单位为bit 信息量=负熵（熵：标志信源整体不确定性的量，信息的功能在于减少熵）  设某一事件x，其结果有多种不确定的可能性x1、x2、…、xn，其概率分别为P1、P2、…、Pn，每一种可能性的不确定性为-P1LogP1、-P2LogP2、…、-PnLogPn，整体事件的不确定性为  只要取一个适当的对数底，K可以为1，一般取2为对数底，则 3．1．2．信息量的测度 3．1．2．1．信息量 在一般情况下，信息量 P1先验概率，事先知道事件发生的概率 P2后验概率，获得信息后知道事件发生的概率 例：信息1——中国选手进入前四名，信息2——中国选手获得冠军 I=- Log2（（1/4）/1）=2bit 例：信息1——中国选手进入前八名，信息2——中国选手进入前三名 I=- Log2（（1/8）/（1/3））=1．46b