第一章10 山东大学通信原理 朱维红老师课件 经典通信原理课件 光芒闪耀 经久不衰课件.pptVIP

1.4 信息及其度量 P(x)越小， I越大； 反之， I越小， 且  P(x)→1时， I→0 P(x)→0时， I→∞ 若干个互相独立事件构成的消息， 所含信息量等于各独立事件信息量之和，也就是说，信息具有相加性， 即  I［P(x1)P(x2)…］=I［P(x1)］+I［P(x2)］+… Copyrights Zhu, Weihong 1.4 信息及其度量 故定义某一消息的信息量 I 与消息出现的概率 P(x) 之间的关系 a = 2 单位为bit（常使用） a = e 单位为奈特（nat） a = 10 单位为哈特莱(也称笛特（Det）)或称十进制单位 Copyrights Zhu, Weihong 1.4 信息及其度量 注意1： I 非负. 所以对数的底数必须大于 1. 底数为 2, 单位为比特 （bit）；底数为e，单位为奈特(nat). 注意2: I(a) 是随机变量. 自信息的含义： 在事件发生前，自信息表示事件发生的不确定性。 在事件发生后，自信息表示事件所包含的信息量，是提供给信宿的信息量，也是解除这种不确定性所需要的信息量 Copyrights Zhu, Weihong Copyrights Zhu, Weihong Definition 6.1.1. 一个离散随机