第二章离散信源与信息熵(上).pptVIP

北京交通大学信息科学研究所 《信息论基础》 《Elements of Information Theory》 北京交大计算机与信息技术学院 信息科学研究所现代信号处理与通信研究室 教学九楼六层北606 主讲：丁晓明 TEL: 92/sopc;ssopc Email—xmding@ 第二章. 信息的度量与信息熵 §2. 1 自信息与条件自信息 ( self—information conditional self—information) §2.1.1 自信息 (自信息量) 若一随机事件的概率为 ,它的自信息的数学 定义为： §2. 1 自信息与条件自信息 因为信息是与随机事件的不定度密切相关， 所以它的度量应是事件概率的函数。设： 4. 两个独立的随机事件 和 ，它们联合事件的自信息，应 是它们各自信息的和，即： 要保证 的函数形式对上述四个公理化条件均满 足，则此函数一定是对数形式；这就是定义的唯一性定 理(uniqueness)。 例2—1 一副充分洗乱了的扑克牌(所给的牌是52张)，试问： 任意一副特定排列所给出的自信息是多少？ 若从中抽取十三张牌，当给出的点数均不相同时可 得到多少信息量？ 题解： 任意一特定排列，即意味着第一张牌的取法有52