数字图像处理信息的统计度量n.pptVIP

第二章 信息的统计度量 2.1自信息量和条件自信息量。 2.2互信息 2.3平均自信息 2.4平均互信息 2.5连续随机变量的互信息和相对熵 2.1自信息量和条件自信息量 信息 不确定性 信息的度量 随机性、概率 相互独立事件符合概率相乘、信息相加 熵 事件集的平均不确定性 对通信系统来说： 自信息量和概率成反比。 规定 0log0=0 自信息量的含义可从多个不同的角度来理解 自信息量的单位表示的含义可理解为：用n进制的数表示这些信息量需要多少位数。 例2-1 试求两个事件的自信息量。 I=-log1/52!=22558 I=-log413/C1352≈13.21 联合自信息量的单位与自信息量的单位相同，它的含义是：两个事件同时发生的不确定性的大小；两个事件同时发生带来的信息量；将该信息量表示出来所需的n进制位的个数。 自信息量的特性 p（xi）=1，I（xi）=0 p（xi）→0，I（xi） → ∞； p（xi）=0，I（xi）=∞ 非负性，由于一个符号出现的概率总在闭区间[0,1]内，所以自信息量为非负值。 单调递减性，P7 图2-1 可加性 例英文字母中“e”的出现频率为0.105，“c”出现的频率为0.023，“o”出现的频率为0.001，分别计算它们的自信息量。 I（e）=-log0.105=3.25bit I（c）=-log 0.023=5.44bit I（o） =-log 0.001=9.97bit 定义2.3 事件xi在事件yj给定条件下的条件自信息量为： 例2-2 I（x）=13.2877bit I（x/y）=6.6439bit 2.2 互信息 自信息量是衡量一个事件所包含的信息量的大小，互信息量是衡量两个或多个事件之间关系的紧密程度。 定义2.4对于给定离散概率空间表示的信源，在出现y事件后所提供有关事件x的信息量定义互信息量，单位为比特 互信息量=自信息量-条件自信息量 =原有的不确定性-仍然保留的不确定性 互信息量的含义： 1.由事件yi消除掉的关于事件xi的不确定性。 2.由事件yi能够提供的事件xi的信息量。 3.一个事件能够提供的关于另一个事件的信息量越多，说明两者关系越密切，因此互信息量还表示了事件yi和事件xi之间关系的密切程度。互信息量的绝对值越大事件yi和事件xi关系越密切。 互信息量 互信息量的性质 1.互易性 I（x；y）=I（y；x） 其含义是由事件y所提供的关于事件x的信息量等于由事件x提供的关于事件y的信息量。 2.当事件x、y统计独立时，互信息量为0. 例2-4 3.互信息量可正可负 例2-5 4.互信息量不大于其中任一事件的自信息量。 2.3 平均自信息量—熵 自信息量是针对一个事件而言的，很多事件组成一个离散事件集合，概率空间为： p(xi)?0， 在信息论中，认为信源输出的消息是随机的。即在未收到消息之前，是不能肯定信源到底发送什么样的消息。而通信的目的也就是要使接收者在接收到消息后，尽可能多的解除接收者对信源所存在的疑义（不定度），因此这个被解除的不定度实际上就是在通信中所要传送的信息量。 2.3.2熵函数的数学性质 对称性 对称性表明，熵具有局限性，它仅与随机变量的总体结构有关，抹杀了个体的特性。 例2-7 A、B两地的天气状况。 由于熵的这种局限性，提出了加权熵的概念。 定义2-6 例2-8 香农熵是权重系数均为1的加权熵。 非负性的含义是当集合中有一个事件必然出现，其他事件不可能出现时，集合的熵为0，此时这个集合没有不确定性，否则这个集合或多或少总会存在一定的不确定性。 确定性 例2-9 上凸性 2.3.3 条件熵 2.3.3 条件熵 2.3.4 联合熵 2.3.5 各种熵之间的关系 2.联合熵和熵之间的关系 H（X，Y）≤H（X）+H（Y）；当X，Y统计独立时等号成立。 3.条件熵和熵之间的关系 H（Y/X）≤H（Y）；当X，Y统计独立时等号成立。 例2-12 Eg 设信源发出8种消息符号，各消息等概发送，各符号分别用3位二进码元表示，并输出事件。通过对输出事件的观察来推测信源的输出。假设信源发出的消息x4，用二进码011表示， 接收到每个二进制码元后得到有关x4信息。 I(x4；0)=0.145bit/符号 I(x4；01) =1.145bit/符号 I(x4；011) =2bit/符号 同样的事件011，等概时信息要大些。 平均互信息的含义： 1.知道了集合Y之后，平均Y中的一个事件消除掉的关于集合X中的一个事件的不确定性。 2.由Y中的一个事件平均能够提供出来的关于集合X