第2章离散信源与信息熵(上).pptVIP

北京交通大学信息科学研究所; 第二章：信息的度量与信息熵 ( The measure of Information Entropy)§2. 1 自信息与条件自信息 ( self—information conditional self— information) §2. 2 自互信息与条件自互信息 (self—mutual information conditional self—mutual information);第二章. 信息的度量与信息熵;1. ;4. 两个独立的随机事件 和 ，它们联合事件的自信息，应 是它们各自信息的和，即： 要保证 的函数形式对上述四个公理化条件均满 足，则此函数一定是对数形式；这就是定义的唯一性定 理(uniqueness)。;例2—1 一副充分洗乱了的扑克牌(所给的牌是52张)，试问： 任意一副特定排列所给出的自信息是多少？ 若从中抽取十三张牌，当给出的点数均不相同时可 得到多少信息量？ 题解： 任意一特定排列，即意味着第一张牌的取法有52种；第 二张牌的取法有51种；……。一共有52!种排列，所以每一种排 列的概率为：;又因为要保证所抽取的牌中点数均不相同，则可设想以下排列， 每一点数有四种花色；根据点数的位置构成13张的排列数： 1，2，3，4，……, 13 4 ? 4 ? 4 ? 4…… ? 4 =;§2. 1 自信息与条件自信息;§2. 1 自信息与条件自信息;例2—3. 某地女孩中有25%是大学生, 她们其中75%是身高1.6m以上；而女孩中身高1.6m以上者超过一半。 题解：设‘女孩中有大学生’的概率为 ，或者说‘女孩是 大学生’是一随机事件 ；另设‘女孩中身高超过1.6m以上者’为另 一随机事件 ，其概率为： ， 又因‘女孩大学生中 超过1.6m者’的概率为： 所问：‘当某女孩是身高1.6m以上，且她是大学生’,则我们将 得到多少信息量？即： 为什么不是求：;§2. 1 自信息与条件自信息; 从以上例题可以看出联合事件的自信息与单一事件 和条件自信息的关系，即联合事件的自信息可以看成是 某一事件的自信息加上此事件发生后另一事件所剩的条 件自信息。 为什么联合事件的自信息一定大于条件自信息呢？ 这实际上是自信息与条件自信息之间的概念差别，我们 从系统模型分析出发加深理解。; 在信源发出消息事件 之后，将通过信道传输由信宿接收。如 果信道是透明传输，则输出也一定是 ，但实际是收到加噪声后 的事件 。因此如何根据收端接受到的事件判断发方所 发的消息，这是通信译码准则所决定。但我们所关心的是如何依 据理论分析来得到这些判决准则？; 因此我们说事件 以及它所对应的先验概率 而定 义出的自信息 ，所表达的不论事件是否有人接收这 个事件它所固有的不确定度，或者说它所能带来的信息 量。而消息事件 它所对应的条件概率 是在收端接收到已干扰的消息后的后验概率,如果当它为1 则属于透明传输；若 1，则属于有扰传输。而当 后验概率大于先验概率是 ，说明事件 发生之后多少也解除了事件 的部分不定度，即得到 了事件 的部分信息。由于概率越大，不定度越小。 从客观上讲，条件自信息一定不会大于无条件的自信息。 同时也反映出要得知一些条件，原事件的不定度一定会 减少，最坏的情况也不过保持不变，即条件与事件无关。;第二章. 信息的度量与信息熵;§2. 2 . 自互信息与条件自互信息;§2. 2 . 自互信息与条件自互信息;§2. 2 . 自互信息与条件自互信息;§2. 2 . 自互信息与条件自互信息;§2. 2 . 自互信息与条件自互信息;§2. 2 . 自互信息与条件自互信息;§2. 2 . 自互信息与条件自互信息;§2. 2 . 自互信息与条件自互信息;§2. 2 . 自互信息与条件自互信息;§2. 2 . 自互信息与条件自互信息;§2. 2 . 自互信息与条件自互信息;§2. 2 . 自互信息与条件自互信息;§2. 2 . 自互信息与条件自互信息;§2. 2 . 自互信息与条件自互信息;§2. 2 . 自互信息与条件自互信息;§2. 2 . 自互信息与条件自互