息及其度量.pptVIP

. 第1章 绪论 1.4 信息及其度量 信息：是消息中包含的有效内容 如何度量离散消息中所含的信息量? 度量信息量的原则 能度量任何消息，并与消息的种类无关。 度量方法应该与消息的重要程度无关。 消息中所含信息量和消息内容的不确定性有关 【例】 1.《儒林外史》中范进中举后发疯 2.今天下雨 上例表明： 消息所表达的事件越不可能发生，信息量就越大。 * 第1章 绪论 度量信息量的方法 事件的不确定程度可以用其出现的概率来描述： 消息出现的概率越小，则消息中包含的信息量就越大。 设：P(x) － 消息发生的概率， I － 消息中所含的信息量， 则 P(x) 和 I 之间应该有如下关系： I 是 P(x) 的函数： I ＝I [P(x)] P(x) ?，I ? ； P(x) ? ，I ?； P(x) = 1时，I ＝ 0； P(x) = 0时，I ＝ ?； 满足上述3条件的关系式如下： －信息量的定义 * 第1章 绪论 上式中对数的底： 若a = 2，信息量的单位称为比特(bit) ，可简记为b 若a = e，信息量的单位称为奈特(nat)， 若 a = 10，信息量的单位称为哈特莱(Hartley) 。 通常广泛使用的单位为比特，这时有 【例】 设一个二进制