第二章-信息论基本概念(3-1).pptVIP

(四） 平均互信息 一、定义 1.Y对X： 2.X对Y： 3.合写： [含义] 信道中流通信息量的整体测度 证明：  首先讨论互信息量在X集合上的统计平均值 I(X；yj)＝ P(xi|yj)I（xi ；yj） ＝ P(xi|yj)log2P(xi|yj)/P(xi) 平均互信息量I（X；Y）为I(X；yj)在上述Y集合上的概率加权统计平均值，即I（X；Y）为 I（X；Y）＝ P(yj)I（X ；yj） ＝ P(yj)P(xi|yj)log2P(xi|yj)/P(xi) ＝ P(xiyj)log2P(xi|yj)/P(xi) 二、物理意义 1. I(X;Y)= H(X) – H(X/Y) (1) H(X)——信源熵：X的不确定度 H(X/Y)——已知Y时，对X仍剩的不确定度(疑义度） [结论] I(X;Y) ——“Y已知”，X的平均不确定度的减少量, 即获得了I(X;Y) 的信息量 (2) H(X)——信源含有的平均信息量(总，有用) I(X;Y)——信宿收到的平均信息量(有用部分) [结论] H(X/Y)—因信道有扰而丢失的平均信息量，故称损失熵 2. I(Y;X)= H(Y) – H(Y/X)= I(X;Y) (1) H(Y)——信宿的平均信息量 I(X;Y)——信道传输的平均信息量 [结论] H(Y/X)——因信道有扰而产生的假平均信息量，称噪声熵、散布度、扩散度 (2) H(Y)——Y的先验不定度 H(Y/X)——发出X后，关于Y的后验不定度 [结论] I(Y;X)——发X前后，Y平均不确定度的减少量 3. I(X;Y) = H(X) + H(Y) – H(XY) H(X) +H(Y)——通信前，整个系统的先验平均不确定度 H(XY)—— 通信后，整个系统仍剩余的平均不确定度 I(X;Y)—— 通信前后，整个系统平均不确定度的减少量，即传输的互信息。 [结论] I(X;Y)——平均每传送一个信源符号时， 流经信道的平均(有用)信息量 H(X) I(X;Y) H(Y) H(X/Y) H(Y/X) 例 已知一个二元信源连接一个二元信道，如图所示。求I(X；Y)，H(XY)，H(X/Y)和H(Y/X)。 I(X;Y) = H(X) + H(Y) – H(XY) I(X;Y)= H(X) – H(X/Y) I(Y;X)= H(Y) – H(Y/X) 信源熵：H(X)=1 bit/符号 (1)求联合概率 p(x1y1)=0.5×0.98=0.49 p(x1y2)=0.5×0.02=0.01 p(x2y1)=0.5×0.80=0.40 p(x2y2)=0.5×0.20=0.10 p(xiyj)=p(xi)p(yj/xi)=p(yj)p(xi/yj) 共熵：H(XY)=1.43 bit/符号 (2)求p(yj) p(y1)=p(x1y1)+p(x2y1)=0.49+0.40=0.89 p(y2)=p(x1y2)+p(x2y2)=0.01+0.10=0.11 信宿收到的平均信息量：H(Y)=0.98 bit/符号 (3)求熵 H(X)=1 bit/符号 H(Y)=0.98 bit/符号 H(XY)=1.43 bit/符号 I(X；Y)=H(X)+H(Y)-H(X Y)=0.55bit/符号 H(X/Y)=0.45 bit/符号 H(Y/X)=0.43 bit/符号 三 、平均互信息的性质 1.非负性——I(X;Y) ≥0， 尽管I(xi;yj) 的某些值可为负 2.对称性——I(X;Y) = I(Y;X) 3.极值性—— I(X;Y) ≤ H(X) I(X;Y) ≤ H(Y) I(X;Y)= H(X) – H(X/Y) ＊当 H(X/Y) = 0 时， I(X;Y)= H(X) ——信道无噪（X、Y一一对应） ＊当 I(X;Y) = 0 时， H(X/Y) = H(X) ——信道中断（X、Y独立） 4. 凸函数性 (1) I(X;Y) 是信源概率分布P(X) 的上凸函数