课程名称通信系统原理CommunicationSystemsConcepts培训讲学.pptVIP

§ 1.4 信息及其量度 　　我们定义能够衡量信息多少的物理量叫做信息量，通常用 I 表示。 　　这说明信息有量值可言，并且信息所包含的事件越不可发生，人们就越感兴趣，信息量就越大。显然，信息量与事件发生的概率有关，事件出现的概率越小，信息量就越大；必然事件的概率为1，则它传递的信息量就为0。 一、信息量的定义： 1、信息是消息（信号）的不确定性的度量。 有不确定性，才有“惑”要解。确定事物不含信息。 通信是消除不确定性的过程。　　可用通信所消除的不确定性的多少来定义所传输信息的多少。 2、不确定性来自客观事物本身的随机性，可以用概率统计来定量描述之。 3、概率为1的事件，不存在不确定性； 概率越小，不确定性越大。 用不确定性的大小表达信息，应与概率的倒数有关。　　　　　　　　　I ∝ 1 / P 　4、若干独立事件的总信息量应等于各事件信息量的总和；而独立事件联合概率是各事件概率的乘积。 为此定义： I＝log（1 / P）＝－log P 则有：当P＝P1P2……Pn 时，I=I1+I2+……+In 5、对数以2为底时，信息量的单位叫“比特”。 （bit） 对数以e为底时，信息量的单位叫“奈特”。（nit） 对数以10为底时，信息量的单位叫“哈特莱”。（hartley） 通常广泛使用的单位为比特。 二 、信息熵（平均信息量） 所谓平均信息量是指每个符号所含信息量的统计平