信息论基本公式汇总.docVIP

信息论基本公式 熵： H(X) p(x)log p( x) 联合熵： H ( X ,Y) p( x, y)log p( x, y) 条件熵： ( | ) ( ) ( | ) ( , )log ( | ) H Y X p x H Y X x p x y p y x x xy 熵的链式规则： H(X,Y) H(X) H(Y| X) H(X,Y|Z) H(H |Z) H(Y| X,Z) H(X ,X , X ) n H(X |X , X , X ) 1 2 L n i i 1 i 2 L 1 i 1 相对熵（ Kullback Leibler Distance）： D( p q) p( x)log p(x) Ep log p( x) ，p ， q 为两个概率分布。 x q(x) q( x) 互信息： I (X;Y) p( x, y)log p( x, y) D ( p( x, y) p( x) p( y)) x y p( x) p( y) I(X;Y) H(X) H(X |Y) H(Y) H(Y|X ) H(X) H(Y) H(X,Y) 条件互信息： I (X ;Y | Z) H (X | Z) H (X |YZ) n 互信息的链式规则： I(X1, X2,L Xn; Y) I ( Xi; Y | Xi 1, Xi 2