第二章 信息量和熵.docVIP

第二章 信息量和熵 一、离散变量的非平均信息量 1、离散变量的非平均自信息量 集合{X；p(x)}中某个事件x的自信息量定义为： I（x）=log=—log p(x) ——表达式是唯一的； 其中，p(x)为事件x发生的概率。 含义：完全确定事件x所必需的信息量； 事件x中固有（包含）的信息量； 事件x出现的先验不确定性大小。 2、联合概率事件的非平均自信息量 联合空间{XY，p(xy)}中任一事件xy，xX和yY的联合自信息量定义为： I（xy）=—log p(xy) 同理： I（xyz）=—log p(xyz) 。 3、离散变量的非平均条件信息量 联合空间{XY，p(xy)}中，事件xX和yY，事件x在事件y给定（已知）时的条件信息量定义为： I（x/y）=—log 含义：已知y时事件x所具有的不确定性； 给定y时事件x中还剩余的信息量； 给定y条件下完全确定事件x所必需的信息量。 4、离散事件的非平均互信息量 两个离散事件集{X，p(x)}和{Y，p(y)}中，事件yY的出现给出关于事件xX的信息量定义为： I（x；y）=log 含义：事件x和y之间的互信息