信息论1第1章绪 论培训课件.pptVIP

*;*;*;*;*;*;*;*;*;直观地认识信息和信息量;第二个重要概念： 事件发生的概率越小，此事件含有的信息量就越大。（不太可能发生的事件竟然发生了，令人震惊） 例 事件“中国足球队3：0力克巴西足球队”含有的信息量大。（小概率事件发生了，事件信息量大） 例 事件“中国足球队0：3负于巴西足球队”含有的信息量小。（大概率事件发生了，事件信息量小） ;*; 第三个重要概念： 消息随机变量的随机性越大，此消息随机变量含有的信息量就越大。 例 消息随机变量X=“中国足球队与巴西足球队比赛的结果”，则消息随机变量X含有的信息量小。 （随机性小，可预见性大，因此该消息随机变量含有的信息量小。） 例 消息随机变量X=“意大利足球队与巴西足球队比赛的结果”，则消息随机变量X含有的信息量大。 （随机性大，可预见性小，因此该消息随机变量含有的信息量大。） ;第四个重要概念： 两个消息随机变量的相互依赖性越大，它们的互信息量就越大（这里指的是绝对值大）。 例 X=西安明日平均气温, Y=咸阳明日平均气温，Z=北京明日平均气温，W=纽约明日平均气温。则： X与Y互信息量大， X与Z互信息量小得多， X与W互信息量几乎为0。 ;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*