信息论与代码2第2章ppt.ppt

2.2 离散信源熵和互信息 2.2.1 自信息量 2.2.2 离散信源熵 信源发出某一符号 后，它提供多少信息量？这就是要解决信息的度量问题。 在通信的一般情况下，收信者所获取的信息量，在数量上等于通信前后不确定性的消除(减少)的量。 1. 定义：任意随机事件的自信息量定义为该事件发生概率的对数的负值。 如：定义为具有概率为p(xi)的符号xi的自信息量为 I (xi)= - log p(xi) 说明：自信息量的单位与所用的对数的底数有关。 对数底数为2，信息量单位为比特（bit）； 对数底数为e，信息量单位为奈特（nat）； 对数底数为10，信息量单位为笛特（det）； 3个信息量单位之间的转化关系为： 1 nat = log2 e = 1.433 bit 1 det = log210 = 3.322 bit 2. 随机事件的不确定性 出现概率大的随机事件，包含的不确定性小，即自信息量小； 出现概率小的随机事件，包含的不确定性大，即自信息量大； 出现概率为1的随机事件，包含的不确定性为0，即自信息量为0；  3. 不确定度与自信息量： 信源符号自信息量：指某一符号出现后，提供给收信者的信息量； 信源符号不确定度：它是信源符号固有的，不管符号是否发出，都存在不确定度。 信源符号自信息量与信源符号不确定度在数量上相等，两者单位也相同。 4. 自信息量的特性： １　　　　　， ２　　　　　， ３　非负性； ４　单调递减性； ５　可加性： 5. 联合自信息量与条件自信息量 例2-3：英文字母中“e”的出现概率为0.105，“o”的出现概率为0.001。分别计算它们的自信息量。 解： “e”的自信息量 I (e)= - log2 0.105 =3.25bit; “o”的自信息量 I (o)= - log2 0.001=9.97 bit; 例: 居住某地区的女孩中有25％是大学生，在女大学生中有75％身高为1.6m以上，而女孩中身高1.6m以上的占总数一半。假如得知“身高1.6m以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设x1为女孩是大学生； x2为身高1.6m以上的女孩； 则p( x1)=1/4 ; p (x2)=1/2; “女大学生中有75％身高为1.6m以上”即 p(x2 | x1)=3/4; 事件“身高1.6m以上的某女孩是大学生”出现的概率为 则信息量 2.2.2 离散信源熵 1. 平均自信息量 对于一个给定信源，各个符号的自信息量是与各自的概率分布有关的一个随机变量，不能作为信源总体的信息量度，我们采用求平均的方法。定义自信息量的数学期望为信源的平均自信息量，即 单位 2. 信源熵（信源的平均不确定度） 信源熵H(X)，表示平均意义上信源的总体特性，是在总体平均意义上的信源不确定性。 信源熵在数量上等于平均自信息量， 但两者的含义不同： 平均自信息量：消除信源不确定度时所需要的信息的量度，即收到一个信源符号，全部解除了这个符号的不确定度。或者说，获得这样大的信息量后，信源不确定度就被消除了。 信源平均不确定度（信源熵） ：在总体平均意义上的信源不确定度。不管是否输出符号，只要这些符号具有某种概率分布，就决定了信源的平均不确定度（信源熵）。 例2-5 设信源符号集X＝{x1,x2,x3},每个符号发生的概率分别为p(x1)=1/2， p(x2)=1/4， p(x3)=1/4，求信源熵H(X)。 解： 即该信源中平均每个符号所包含的信息量为1.5bit。 例: 已知某信源的概率空间为 求由该信源发出60个符号构成的消息所含的信息量。 解：先求平均每个符号的信息量，即信息熵 则消息所含的信息量为 60×H(X)=114.3bit 3. 联合熵和条件熵 （1）联合熵（共熵） 联合熵是联合符号集合（X,Y）的每个元素对 的自信息量的概率加权统计平均值，它表示X和Y同时发生的不确定度。定义为 （2）条件熵 条件熵是在联合符号集合（X，Y）上的条件自信息量的联合概率加权统计平均值。 H(X|Y)表示已知Y后，X的不确定度。 它表示信源Y发符号 yj 的前提下，信源X每发