基本信息论例题及其分析..docVIP

第2章 基本信息论 信源是消息的来源， 信道是消息传送媒介， 信宿是消息的目的地。 Shannon信息论的中心问题 “信息论”，又称为“通信的数学理论”，是研究信息的传输、存储、处理的科学。 信息论的中心问题：为设计有效而可靠的通信系统提供理论依据。 （具体地说，就是信源编码和信道编码。以下来看所要解决的具体问题。） 问题一：信源消息常常不能够完全发送。（否则发送量巨大，比如：无尽的天空。因此优先捡有用的发送） 问题二：信道因干扰而出现差错，如何进行检错和纠错。 第一个重要概念：信道上传送的是随机变量的值。注意： （1）这就是说，我们在收到消息之前，并不知道消息的内容。否则消息是没有必要发送的。 （2）消息随机变量有一个概率分布。 （3）消息随机变量的一个可能取值就称为一个事件。 第二个重要概念：事件发生的概率越小，此事件含有的信息量就越大。（不太可能发生的事件竟然发生了，令人震惊） 例 事件“中国足球队3：0力克韩国足球队”含有的信息量大。（小概率事件发生了，事件信息量大） 例 事件“中国足球队0：1负于韩国足球队”含有的信息量小。（大概率事件发生了，事件信息量小） 第三个重要概念：消息随机变量的随机性越大，此消息随机变量含有的信息量就越大。 例 消息随机变量X=“中国足球队与韩国足球队比赛的结果”，则消息随机变量X含有的信息量小。 （随机性小，可预见性大，因此