数字图像处赖捻信息的统计度量n.pptVIP

第二章 信息的统计度量;2.1自信息量和条件自信息量;;;*;定义2-1：对于给定的离散概率空间表示的信源，x=ai事件所对应的（自）信息量为 以2为底，单位为比特（bit) 以e=2.718281828为底，单位为奈特（nat) ,理论推导时常用 1nat=1.433bit 1bit=0.693nat 以10为底，单位为笛特（det)或哈特（Hart） 1det=3.322bit 1bit=0.301det;;;;;;自信息量的特性 p（xi）=1，I（xi）=0 p（xi）→0，I（xi） → ∞； p（xi）=0，I（xi）=∞ 非负性，由于一个符号出现的概率总在闭区间[0,1]内，所以自信息量为非负值。 单调递减性，P7 图2-1 可加性 ;;;2.2离散信源熵与互信息;;;2.2离散信源熵与互信息;2.2离散信源熵与互信息;2.2 互信息;;互信息量=自信息量-条件自信息量 =原有的不确定性-仍然保留的不确定性 互信息量的含义： 1.由事件yi消除掉的关于事件xi的不确定性。 2.由事件yi能够提供的事件xi的信息量。 3.一个事件能够提供的关于另一个事件的信息量越多，说明两者关系越密切，因此互信息量还表示了事件yi和事件xi之间关系的密切程度。互信息量的绝对值越大事件yi和事件xi关系越密切。 ;;;;互信息量;*;*;互信息量的性质;3.互信息量可正可负 例2-5;;2.3 平均自信息量—熵;定义2-5：对于给定离散概率空间表示的信源所定义的随机变量I的数学期望为信源的信息熵，单位为比特/符号 集合X的平均自信息量又称为X的信息熵，简称熵。; 在信息论中，认为信源输出的消息是随机的。即在未收到消息之前，是不能肯定信源到底发送什么样的消息。而通信的目的也就是要使接收者在接收到消息后，尽可能多的解除接收者对信源所存在的疑义（不定度），因此这个被解除的不定度实际上就是在通信中所要传送的信息量。; 因此,接收的信息量在无干扰时,在数值上就等于信源的信息熵，式中P(xi)为信源取第i个符号的概率。但在概念上,信息熵与信息量是有区别的。信息熵是描述信源本身统计特性的一个物理量。它是信源平均不定度，是信源统计特性的一个客观表征量。不管是否有接收者它总是客观存在的。信息量则往往是针对接收者而言的，所谓接收者获得了??息，是指接收者收到消息后解除了对信源的平均不定度，它具有相对性。;熵的含义：1.表示了集合中所有事件是否发生的平均不确定性的大小。 2.表示了集合中事件发生，带给人们的平均信息量的大小。 3.表示了确定集合中到底哪个事件发生时所需的平均信息量的大小。 4.表示了如果用二进制数据将集合中的各个元素表示出来所需的二进制位的平均数。 例 2-6 ;2.3.2熵函数的数学性质;对称性;对称性表明，熵具有局限性，它仅与随机变量的总体结构有关，抹杀了个体的特性。 例2-7 A、B两地的天气状况。 由于熵的这种局限性，提出了加权熵的概念。 定义2-6 例2-8 香农熵是权重系数均为1的加权熵。;非负性 式中的等号只有在pi =1时出现。 ;;;例2-9;;上凸性;; 定义2-7：对于给定离散概率空间表示的信源所定义的随机变量I（x/y)在集合X上的数学期望为给定y条件下信源的条件熵，单位为比特/序列 ;2.3.3 条件熵;;2.3.4 联合熵;;2.3.5 各种熵之间的关系;2.联合熵和熵之间的关系 H（X，Y）≤H（X）+H（Y）；当X，Y统计独立时等号成立。 3.条件熵和熵之间的关系 H（Y/X）≤H（Y）；当X，Y统计独立时等号成立。 例2-12;;;信源输出;;信源输出;;平均互信息量 其中;平均互信息的含义： 1.知道了集合Y之后，平均Y中的一个事件消除掉的关于集合X中的一个事件的不确定性。 2.由Y中的一个事件平均能够提供出来的关于集合X中的一个事件的信息量。 3.表示了两个集合之间关系的密切程度。 ;;;;平均互信息的性质;;;;;2.4.3 各种熵和平均互信息量之间的关系;信息不增性 ;数据处理定理; 如果想从测量结果Y中得到越来越多的关于X的信息量，必须付出代价。常用的方法是通过多次测量，因为H（X/Y1,Y2）≤ H（X/Y1），所以 I（X；Y1,Y2）≥ I（X；Y1）。 可以证明取测量值Y的次数越多，X的条件熵越小，获得的信息量就越大。尤其当各次测量值相互独立时，趋势更明显。取Y无数次后， H（X/Y1,Y2,Y3,……） →0 I（X；Y1,Y2Y3,……） → H（X） ;解决方法：多次测量;;求 (1)