第二部分信息的度量学习课件.pptVIP

第二章 信息的度量 2.1 自信息和互信息 2.2 平均自信息 2.3 平均互信息 2.1 自信息和互信息 2.1.1 自信息 定义 一个事件（消息）本身所包含的信息，它是由事件的不确定性决定的。 自信息量 一个事件（消息）本身所包含的信息量，记为 。 自信息量为概率 的函数。 2.1.1 自信息 根据客观事实和人们的习惯概念，自信息量应满足以下条件（公理化条件）： 1. 是 的严格递减函数。当 时， ，概率越小，事件发生的不确定性越大，事件发生以后所包含的自信息量越大。 2．极限情况下当 =0时， ；当 =1时， =0。 3．另外，从直观概念上讲，由两个相对独立的不同的消息所提供的信息量应等于它们分别提供的信息量之和。 可以证明，满足以上公理化条件的函数形式是对数形式。 2.1.1 自信息 定义： 随机事件的自信息量定义为该事件发生概率的对数的负值。设事件 的概率为 ，则它的自信息定义为 由图可见：上述信息量的定义正 是满足上述公理性条件的函数形式。 含义： 1）当事件发生以前，等于事件发生的不确定性的大小； 2）当