数字图像处理信息统计度量n.ppt

第二章 信息的统计度量 2.1自信息量和条件自信息量。 2.2互信息 2.3平均自信息 2.4平均互信息 2.5连续随机变量的互信息和相对熵 2.1自信息量和条件自信息量 信息 不确定性 信息的度量 随机性、概率 相互独立事件符合概率相乘、信息相加 熵 事件集的平均不确定性 对通信系统来说： 自信息量和概率成反比。 规定 0log0=0 自信息量的含义可从多个不同的角度来理解 自信息量的单位表示的含义可理解为：用n进制的数表示这些信息量需要多少位数。 例2-1 试求两个事件的自信息量。 I=-log1/52!=22558 I=-log413/C1352≈13.21 联合自信息量的单位与自信息量的单位相同，它的含义是：两个事件同时发生的不确定性的大小；两个事件同时发生带来的信息量；将该信息量表示出来所需的n进制位的个数。 自信息量的特性 p（xi）=1，I（xi）=0 p（xi）→0，I（xi） → ∞； p（xi）=0，I（xi）=∞ 非负性，由于一个符号出现的概率总在闭区间[0,1]内，所以自信息量为非负值。 单调递减性，P7 图2-1 可加性 例英文字母中“e”的出现频率为0.105，“c”出现的频率为0.023，“o”出现的频率为0.001，分别计算它们的自信息量。 I（e）=-log0.105=3.25bit I（c）=-log 0.023=5