第2章 信源和信源熵-2.pdfVIP

第二章 信源及信源熵 离散信源熵和互信息 离散信源熵和互信息  问题：  什么叫不确定度？  什么叫自信息量？  什么叫平均不确定度？  什么叫信源熵？  什么叫平均自信息量？  什么叫条件熵？  什么叫联合熵？  联合熵、条件熵和熵的关系是什么？ 离散信源熵和互信息  问题：  什么叫后验概率？  什么叫互信息量？  什么叫平均互信息量？  什么叫疑义度？  什么叫噪声熵（或散布度）？  数据处理定理是如何描述的？  熵的性质有哪些？ 自信息量  设离散信源X，其概率空间为 X  x x … x    1 2 n     P p (x ) p (x ) … p (x )    1 2 n   如果知道事件x 已发生,则该事件所含有的信息 i 量定义为: I (x ) log p (x ) i i 自信息量  I (x ) 含义: i 当事件x 发生以后,表示事件x 所含有的信息量 i i  自信息的单位的确定 在信息论中常用的对数底是2,信息量的单位 为比特(bit)； 若取自然对数,则信息量的单位为奈特(nat); 若以10为对数底,则信息量的单位为笛特(det) 1 nat＝log e ≈ l.433 bit， 2 l det＝log 10≈3.322 bit 2 自信息量与不确定度  不确定度： 随机事件的不确定度在数量上等于它的自信息 量。  说明: 两者的单位相同，但含义却不相同。 具有某种概率分布的随机事件不管发生与否， 都存在不确定度，不确定度表征了该事件的特 性，而自信息量是在该事件发生后给予观察者 的信息量。 自信息量  二进制码元0,1,当符号概率为p(0)=1/4, p(1)=3/4,则这两个符号的自信息量为： I(0) =－log (1/4)=log 4= 2bit 2 2 I(1) =－log (3/4) =0.4151 bit 2  一个以等概率出现的二进制码元(0，1)所包含 的自信息量为： I(0)= I(1)= －log (1/2)=log 2=1 bit 2 2  一个m位的二进制数,有2m个等概率的可能组 合 I=－log (1/2m)=m bit 2 自信息量  I(x )的特性： i ⑴I (x )是非负值 i ⑵ 当p(x ) = 1时，I(x ) = 0 i i ⑶ 当p(x ) = 0时，I(x ) =∞ i i ⑷