第二章信息的度量.pptVIP

第二章信息的度量;2.1 自信息和互信息; 自信息;定义： 随机事件的自信息量定义为该事件发生概率的对数的负值。设事件 的概率为 ，则它的自信息定义为 由图可见：上述信息量的定义正 是满足上述公理性条件的函数形式。 含义： 1）当事件发生以前，等于事件发生的不确定性的大小； 2）当事件发生以后，表示事件所含有或所能提供的信息量。;自信息量的单位：与所用对数的底a有关。 单位换算关系：;[例1] （1）英文字母中“a”出现的概率为0.064，“c”出现的概率为0.022，分别计算他们的自信息量。 （2）假定前后两字母出现是互相独立的，求“ac”的自信息量。 （3）假定前后字母出现不是独立的，当“a”出现后，“c“出现的概率为0.04，计算”a“出现后，”c”出现的自信息量。 （4）比较（3）中计算出的信息量，并与“c“的信息量进行比较和分析。;;（3）假定前后字母出现不是独立的，当“a”出现后，“c“出现的概率为0.04，计算“a”出现后，“c”出现的自信息量。 （4）比较（3）中计算出的信息量，并与“c“的信息量进行比较和分析。 可见， “a”出现后，“c”出现的概率增大，其不确定性则变小。 （前后字母出现不是独立的，“a”出现给出了“c”的部分信息，故“a”出现后，“c” 的不确定性则变小。 ）;结论： 设有两事件a和b： (1) 若相互独立，则I(ab)=I(a)+I(b); (2) 若不为相互独立，则I(ab)I(a)+I(b). ;[例2] 8个串联的灯泡x1，x2，…，x8，其损坏的可能性是等概率的，现假设其中有一个灯泡已损坏，问总共需要多少次测量才能获知和确定哪个灯泡已损坏。 ;[例2] 8个串联的灯泡x1，x2，…，x8，其损坏的可能性是等概率的，现假设其中有一个灯泡已损坏，问每进行一次测量可获得多少信息量？总共需要多少次测量才能获知和确定哪个灯泡已损坏。 ;已知8个灯泡等概率损坏，所以先验概率P (x1)＝1/8 ，即;2.1.1 自信息;定义： 一个事件 所给出关于另一个事件 的信息定义为互信息，用 表示。 含义：互信息 是已知事件 后所消除的关于事件 的不确定性，它等于事件 本身的不确定性 减去已知事件 后对 仍然存在的不确定性 。 ;理解： 因此，已知事件 后所消除的关于事件 的不确定性为： 即：;特例（无干扰信道）： 因此，已知事件 后所消除的关于事件 的不确定性为： 即：; 互信息; 互信息;设某班学生在一次考试中获优（A）、良（B）、中（C）、及格（D）和不及格（E）的人数相等。当教师通知某甲：“你没有不及格”，甲获得了多少比特信息？为确定自己的成绩，甲还需要多少信息？; 互信息;回顾;自信息量与互信息量的联系;2.2 平均自信息（信源熵，信息熵，熵）; 平均自信息的概念;平均自信息量的定义 随机变量X的每一个可能取值的自信息 的统计平均值 这里q为所有X可能取值的个数。 信息熵 是随机变量X的概率分布的函数，所以又称为熵函数，且为（q-1）元函数。 把概率分布 ，记为 ，则熵函数又可以写成概率矢量 的函数的形式，记为 。 ;平均自信息量（熵）的含义 1）熵是从整个集合的统计特性来考虑的，它从平均意义上来表征信源的总体特征。 2）信息熵表征了信源的随机性。 3）在信源输出前，信息熵H(X) 表示信源的平均不确定性； 4）在信源输出后，信息熵H(X)表示每个消息提供的平均信息量。;几点说明 1）熵的单位与所取对数的底数有关。 根据所取的对数底不同，可以是比特/符号、奈特/符号、哈特莱/符号或者是r进制单位/符号。通常用比特/符号为单位。 2）信息熵也成为负热熵。 3）信源熵给出了对信源输出的消息进行无失真编码时，平均每个信源符号至少要用的符号数。 4）信息熵并不等于收信者平均获得的信息量。 传输系统往往有噪声和干扰，因此收信者不能全部消除信源的平均不确定性，获得的信息量往往小于信息熵。 ;熵的计算例： 有一布袋内放l00个球，其中80个球是红色的，20个球是白色的。随便摸出一个球，求平均摸取一次所能获得的信息量。;[例1] 电视屏上约有500×600个栅格点，且每点可取10个不同的灰度等级，同时各电视画面的出现概率为相等的，求平均每个电视画面可提供的信息量。 ;[例2] 设甲地的天气预报为：晴(占4／8)、阴(占2／8)、大雨(占1／8)、小雨