信息论第2章信息的度量.pptVIP

第2章信息的度量重庆交通大学信息与工程学院通信工程系李益才2012月010203自信息和互信息平均自信息平均互信息第2章信息的度量自信息：一个事件（消息）本身所包含的信息量，它是由事件的不确定性决定的。比如抛掷一枚硬币的结果是正面这个消息所包含的信息量。互信息：一个事件所给出关于另一个事件的信息量，比如今天下雨所给出关于明天下雨的信息量。平均自信息（信息熵）：事件集（用随机变量表示）所包含的平均信息量，它表示信源的平均不确定性。比如抛掷一枚硬币的试验所包含的信息量。平均互信息：一个事件集所给出关于另一个事件集的平均信息量，比如今天的天气所给出关于明天的天气的信息量。3214几个重要概念2.1自信息和互信息2.1.1自信息随机事件的自信息量I(xi)是该事件发生概率p(xi)的函数，并且应该满足以下公理化条件：I(xi),是p(xi)的严格递减函数。当p(x1)p(x2)时，I(x1)I(x2)，概率越小，事件发生的不确定性越大，事件发生以后所包含的自信息量越大。极限情况下当p(xi)=0时，I(xi)→∞；当p(xi)=1时，I(xi)=0。另外，从直观概念上讲，由两个相对独立的不同的消息所提供的信息量应等于它们分别提供的信息量之和。可以证明，满足以上公理化条件的函数形式是对数形式。2.1.1自信息定义2.1随机事件的自信息量定义为该事件发生概率的对数的负值。设事件xi的概率为p(xi)，则它的自信息定义为从图2.1种可以看到上述信息量的定义正是满足上述公理性条件的函数形式。I(xi)代表两种含义：当事件发生以前，等于事件发生的不确定性的大小；当事件发生以后，表示事件所含有或所能提供的信息量。图2.1自信息量常取对数的底为2，信息量的单位为比特（bit，binaryunit）。当p(xi)=1/2时，I(xi)=1比特，即概率等于1/2的事件具有1比特的自信息量。01若取自然对数（对数以e为底），自信息量的单位为奈特（nat，naturalunit）。1奈特=log2e比特=1.443比特02工程上用以10为底较方便。若以10为对数底，则自信息量的单位为哈特莱（Hartley）。1哈特莱=log210比特=3.322比特03如果取以r为底的对数(r1)，则I(xi)=-logrp(xi)进制单位1r进制单位=log2r比特04自信息量的单位2.1.1自信息解：收到某消息获得的信息量(即收到某消息后获得关于某事件发生的信息量)＝不确定性减少的量＝(收到此消息前关于某事件发生的不确定性)(收到此消息后关于某事件发生的不确定性)[例]8个串联的灯泡x1，x2，…，x8，其损坏的可能性是等概率的，现假设其中有一个灯泡已损坏，问每进行一次测量可获得多少信息量？最少需要多少次测量才能获知和确定哪个灯泡已损坏。已知8个灯泡等概率损坏，所以先验概率P(x1)＝1/8，即第二次测量获得的信息量=I[P(x2)]-I[P(x3)]=1(bit)第三次测量获得的信息量=I[P(x3)]=1(bit)至少要获得3个比特的信息量就可确切知道哪个灯泡已坏了。第一次测量获得的信息量=I[P(x1)]-I[P(x2)]=1(bit)经过二次测量后，剩2个灯泡，等概率损坏，P(x3)＝1/2一次测量后，剩4个灯泡，等概率损坏，P(x2)＝1/4定义2.2一个事件yj所给出关于另一个事件xi的信息定义为互信息，用I(xi;yj)表示。互信息I(xi;yj)是已知事件yj后所消除的关于事件xi的不确定性，它等于事件xi本身的不确定性I(xi)减去已知事件yj后对仍然存在的不确定性I(xi|yj)。互信息的引出，使信息得到了定量的表示，是信息论发展的一个重要的里程碑。0102032.1.2互信息自信息量是信源发出某一具体消息所含有的信息量，发出的消息不同,所含有的信息量也不同。因此自信息量不能用来表征整个信源的不确定度。定义平均自信息量来表征整个信源的不确定度。平均自信息量又称为信息熵、信源熵，简称熵。因为信源具有不确定性，所以我们把信源用随机变量来表示，用随机变量的概率分布来描述信源的不确定性。通常把一个随机变量的所有可能的取值和这些取值对应的概率[X,P(X)]称为它的概率空间。01022.2.1平均自信息（信息熵）的概念2.2平均自信息2.2.1平均自信息（信息熵）的概念定义2.3随机变量X的每一个可能取值的自信息I(xi)的统计平均值定义为随