第二章-信息量和熵.pdfVIP

第二章 信息量和熵 1. 互信息量 2. 平均自信息量-熵 3. 平均互信息量 4. 相对熵、熵、和互信息量的凸性 5. 连续随机变量的熵 6. 有记忆马尔可夫信源 1. （非平均）互信息量  X   x , x , , x , , x  设信源  1 2 i n , p (x ) 1   i P (X ) p (x ), p (x ), , p (x ), , p (x ) i  1 2 i n   Y   y , y , , y , , y  信宿   1 2 j m , p (y j ) 1 P (Y ) p (y ), p (y ), , p (y ), , p (y ) j    1 2 j m  信源 信道 信宿 X Y X,Y 的联合空间 1.互信息量 设观察输入为: x （ i=1,2,,...,N） i 设观察结果为: y j （ j=1,2,,...,M） 从y 中得到有关输入符号x 的信息——称为x 与y 之间的 j i i j 互信息量 （事件信息） I (x ; y ) i j p (x | y ) p (x , y ) ( ; ) i j i j I xi y j lb lb ( ) ( ) ( ) p xi p xi p y j 信息＝先验不确定性－后验不确定性 I (x ; y )＝x 在观察到y 前不确定性－ x 在观察到y 后不确定性 i j i j i j I (x ; y ) [lbp(x )][ lbp(x | y )] I (x ) I (x | y ) i j i i j i i j 1