第二章 信源及信息熵2.2.pptVIP

第二章 信源及信息熵;关于信息的度量有几个重要的概念： （1）自信息：一个事件（消息）本身所包含的信息量，它是由事件的不确定性决定的。比如抛掷一枚硬币的结果是正面这个消息所包含的信息量。 （2）互信息：一个事件所给出关于另一个事件的信息量，比如今天下雨所给出关于明天下雨的信息量。 （3）平均自信息（信息熵）：事件集（用随机变量表示）所包含的平均信息量，它表示信源的平均不确定性。比如抛掷一枚硬币的试验所包含的信息量。 （4）平均互信息：一个事件集所给出关于另一个事件集的平均信息量，比如今天的天气所给出关于明天的天气的信息量。 ;收到某消息获得的信息量 ＝不确定性减少的量 ＝（收到此信息前关于某事件发生的不确定性）－（收到此信息后关于某事件发生的不确定性）;事件发生的概率越小，我们猜测它有没有发生的困难程度就越大，不确定性就越大。概率等于1的必然事件，就不存在不确定性。 某事件发生所含有的信息量应该是该事件发生的先验概率的函数。 函数f [p(xi)]应满足以下4个条件 ;时;;如果取以2为底，则信息量单位称为比特(binary unit) 如果取以e为底，则信息量单位称为奈特(nature unit) 如果取以10为底，则信息量单位称为笛特(det ) 1奈特＝1.443比特 1笛莱＝3.322比特 一般都采用以“2”为底的对数，为了书写简洁，有时把底数2略去不写。; 信息论中“比特”与 计算机术语中“比特”区别;【例2.1 】 （1）英文字母中”a”出现的概率为0.064，“c”出现的概率为0.022，分别计算它们的自信息量。 （2）假定前后字母出现是互相独立的，计算“ac”出现的自信息量。 （3） 假定当“a”出现后，出现“c”的概率为0.04，计算“a”出现后， “c”出现的自信息量。 解： ;2.2.2 互信息 ;互信息的三种不同表达式;观察者站在通信系统总体立场上 通信前：输入随机变量X和输出随机变量Y之间没有任何关联关系,即X与Y统计独立：p(xi yj)=p(xi)p(yj) 先验不确定度 通信后：输入随机变量X和输出随机变量Y之间由信道的统计特性相联系，其联合概率密度： p(xi yj)=p(xi)p(yj /xi )= p(yj)p(xi / yj) 后验不确定度 通信后的互信息量，等于前后不确定度的差 这三种表达式实际上是等效的，在实际应用中可根据具体情况选用一种较为方便的表达式。;互信息的性质;条件互信息;【例2.2 】某地二月份天气出现的概率分别为晴1/2，阴1/4，雨1/8，雪1/8。某天有人告诉你：“今天不是晴天”，把这句话作为收到的消息y1，求收到y1后， y1与各种天气的互信息量。 解：把各种天气记作x1(晴),x2(阴),x3(雨),x4(雪)，收到消息y1后，阴天发生的概率为;因此y1 与晴天、雨天、雪天的互信息分别为： ;*;;概率论基础;概率论基础; 自信息量是信源发出某一具体消息所含有的信息量，发出的消息不同所含有的信息量不同。因此自信息量不能用来表征整个信源的不确定度。我们定义平均自信息量来表征整个信源的不确定度。平均自信息量又称为信息熵、信源熵，简称熵。 因为信源具有不确定性，所以我们把信源用随机变量来表示，用随机变量的概率分布来描述信源的不确定性。通常把一个随机变量的所有可能的取值和这些取值对应的概率 称为它的概率空间。 ;;信息熵具有以下三种物理含义 （1）信息熵H(x)是信源输出后，每个消息（或符号）所提供的平均信息量。 （2）信息熵H(x)是表示信源输出前，信源的平均不确定性。 （3）用信息熵H(x)来表征变量X的随机性 注：信息熵是信源的平均不确定性的描述。 一般情况下获得的信息量是两熵之差，并不是信息熵本身。 【例2.4】扔一对质地均匀骰子，确定其面朝上的点数。当得知点数和为8时，获得信息量为： P18,19例;2.2.3 熵函数的性质 ;1、对称性 ;;2、确定性 H(1,0)=H(1,0,0)=…=H(1,0, …,0)=0 ;;;;7、最大熵定理(极值性) ; 证明：设概率矢量P=(p1,p2, …pn),并有;举 例;从图中可以得出熵函数的一些性质： 如果二进制信源的输出是确定的(p=1或1-p=1)，则该信源不提供任何信息； 当二进制信源符号0和1等概率发生时，信源的熵达到最大值，等于1比特信息。 二元数字是二进制信源的输出。在具有等概率的二进制信源输出的二进制数字序列中，每一个二元数字提供1比特的信息量。如果符号不是等概率分布，则每一个二元数字所提供的平均信息量总是小于1比特。这也进一步说明了“二元数字”（计算机术语称“比特”）与信息量单位“比特”的关系。;*;