IT_03_离散互信息.pdfVIP

信息论的基本概念信息论的基本概念信息论的基本概念信息论的基本概念 • 熵 •• 互信息互信息 • 鉴别信息 信息论的基本概念信息论的基本概念信息论的基本概念信息论的基本概念 • 熵 •• 互信息互信息 • 鉴别信息 信息论的基本概念信息论的基本概念信息论的基本概念信息论的基本概念 • 熵 •• 互信息互信息 • 鉴别信息 离散互信息离散互信息离散互信息离散互信息 • 互信息的定义 离散互信息离散互信息离散互信息离散互信息 • 互信息的定义 HH((X|YX|Y ))HH((XX )) ，， 离散互信息离散互信息离散互信息离散互信息 • 互信息的定义 H(X|Y)H(X|Y)H(X)H(X) ，， I(X;Y) = H(X) －H(X|Y) 离散互信息离散互信息离散互信息离散互信息 • 互信息的定义 H(X|Y)H(X|Y)H(X)H(X) ，， I(X;Y) = H(X)－ H(X|Y) 已知Y后提供的关于X 的信息 离散互信息离散互信息离散互信息离散互信息 • 互信息的定义 H(X|Y)H(X|Y)H(X)H(X) ，， I(X;Y) = H(X)－ H(X|Y) 已知Y后提供的关于X 的信息 H(Y|X)H(Y|X)H(Y)H(Y) I(Y; X) = H(Y)－ H(Y|X) 离散互信息离散互信息离散互信息离散互信息 • 互信息的定义 H(X|Y)H(X|Y)H(X)H(X) ，， I(X;Y) = H(X)－ H(X|Y) 已知Y后提供的关于X 的信息 H(Y|X)H(Y|X)H(Y)H(Y) I(Y; X) = H(Y)－ H(Y|X) 已知X后提供的关于Y 的信息 离散互信息离散互信息离散互信息离散互信息 • 互信息的定义 I(XI(X;Y)Y) = H(X)H(X) － H(X|Y)H(X|Y) I((Y;; X)) = H((Y)) － H((Y||X)) 离散互信息离散互信息离散互信息离散互信息 • 互信息的定义 I(XI(X;Y)Y) = H(X)H(X) － H(X|Y)H(X|Y) I((Y; X)) = H((Y)) － H((Y||X)) ∵ H(XY) =H(X)+H(Y|X)=H(Y)+H(X|Y) ∴∴ H(X)H(X) － H(X|Y)H(X|Y) = H(Y)H(Y) － H(Y|X)H(Y|X) ∴ I((X;;Y)) = I((Y;; X)) 离散互信息离散互信息离散互信息离散互信息 • 互信息的定义 I(XI(X;Y)Y) = H(X)H(X) － H(X|Y)H(X|Y) I((Y; X)) = H((Y)) － H((Y||X)) ∵ H(XY) =H(X)+H(Y|X)=H(Y)+H(X|Y) ∴∴ H(X)H(X) － H(X|Y)H(X|Y) = H(Y)H(Y) － H(Y|X)H(Y|X) ∴ I((X;;Y)) = I((Y;; X)) 互信息是X ，Y之间相互提供的信息量。 离散互信息离散互信息