通信原理第一章PPT.pptVIP

1.2 消息、信息和信号 1.2 消息、信息和信号 消息中不确定的内容构成信息，信息量就是对消息中这种不确定性的度量。 度量的工具就是事件的概率，即消息中的信息量与消息发生的概率密切相关，消息出现的概率越小，其中包含的信息量越大。 1.2 消息、信息和信号 ① 信息与消息的形式无关 用语音和文字发送的天气预报消息，所含信息 内容相同。 ② 信息与消息的重要程度无关 明日下雨的天气预报消息，不因该消息是军用，还是普通农民种地而含有信息量增大。 ③ 信息的多少与消息事件发生的可能性有关 “明天中午12时正常开饭”、“明天中午12时有 地震”后者听后会使人惊奇和意外，则信息量大。 或者说某些消息比另外一些消息传递了更多的 信息。 1.2 消息、信息和信号 2、信息量的计算 离散消息的信息量 设离散信息源是n个符号的集合，每个符号xi以概率P(xi)独立出现，则x1,x2… … xn包含的信息量分别为： -log2P(x1), -log2P(x2),…….., -log2P(xn) 每个符号所含（统计）平均信息量（信息的熵）为： 1.2 消息、信息和信号 离散消息的信息量 信息源的最大熵发生在每一符号等概率出现，即当P(xi)＝1/n，i＝1,2,….,n，