wjx第1讲通信原理教学导引.ppt

消息 消息是对事件的物理状态变化进行描述的一种具体形式，这种状态变化具有人们能感知的物理特性。 信号 信号是由消息转换来的，可以被传输和处理的具体形式，是消息的运载工具。 信息 信息就是消息或信号随机变化中的“不确定性”，是消息中所含的待知的本质内容。 信息及其度量 信息：是消息中包含的有效内容 如何度量离散消息中所含的信息量? 度量信息量的原则 能度量任何消息，并与消息的种类无关。 度量方法应该与消息的重要程度无关。 消息中所含信息量和消息内容的不确定性有关 【例】 “某客机坠毁”这条消息比“今天下雨”这条消息包含有更多的信息 此例表明： 消息所表达的事件越不可能发生，信息量就越大 度量信息量的方法 事件的不确定程度可以用其出现的概率来描述： 消息出现的概率越小，则消息中包含的信息量就越大。 设：P(x) － 消息发生的概率， I － 消息中所含的信息量， 则 P(x) 和 I 之间应该有如下关系： I 是 P(x) 的函数： I ＝I [P(x)] P(x) ?，I ? ； P(x) ? ，I ?； P(x) = 1时，I ＝ 0； P(x) = 0时，I ＝ ?； 满足上述3条件的关系式如下： －信息量的定义 上式中对数的底： 若a = 2，信息量的单位称为比特(bit) ，可简记为b