uestc信息编码与加密第二章-信息论基本概念（3-1）.pptVIP

(四） 平均互信息 一、定义 1.Y对X： 2.X对Y： 3.合写： [含义] 信道中流通信息量的整体测度 证明：  首先讨论互信息量在X集合上的统计平均值 I(X；yj)＝ P(xi|yj)I（xi ；yj） ＝ P(xi|yj)log2P(xi|yj)/P(xi) 平均互信息量I（X；Y）为I(X；yj)在上述Y集合上的概率加权统计平均值，即I（X；Y）为 I（X；Y）＝ P(yj)I（X ；yj） ＝ P(yj)P(xi|yj)log2P(xi|yj)/P(xi) ＝ P(xiyj)log2P(xi|yj)/P(xi) 二、物理意义 1. I(X;Y)= H(X) – H(X/Y) (1) H(X)——信源熵：X的不确定度 H(X/Y)——已知Y时，对X仍剩的不确定度(疑义度） [结论] I(X;Y) ——“Y已知”，X的平均不确定度的减少量, 即获得了I(X;Y) 的信息量 (2) H(X)——信源含有的平均信息量(总，有用) I(X;Y)——信宿收到的平均信息量(有用部分) [结论] H(X/Y)—因信道有扰而丢失的平均信息量，故称损