信息论第二章信息的度量.pptVIP

（1）由图2-8得 ，先算出p(xi yj)= q(xi)p(yj︱xi) （2）计算 得： （3） 计算后验概率，得： （4）计算各种熵及平均互信息量： 信源熵 信宿熵 联合熵 = -2 × 0.5 (1-ε) log 0.5(1-ε)-2 × 0.5εlog 0.5ε = log2 - (1-ε) log (1-ε)-εlogε = log2 + H 2 (ε) 式中： 散布度 = -p(00) log p(0︱0)-p(01) log p(1︱0)-p(10) log p(0︱1)-p(11) log p(1︱1) = -2 × 0.5 (1-ε) log (1-ε)-2 × 0.5εlogε= H 2 (ε) 可疑度 = -p(00) logφ(0︱0)-p(01) logφ(0︱1)-p(10) logφ(1︱0)-p(11) logφ(1︱1) = -2 × 0.5 (1-ε) log (1-ε)-2 × 0.5εlogε= H 2 (ε) 平均互信息量 I(X ; Y)= H(X)+ H(Y)- H(XY) = log2 + H 2 (ε) 研究通信问题，主要研究的是信源和信道，它们的统计特性可以分别用消息先验概率q(x)及信道转移概率p(y︱x)来描述，而平均互信息量I(X ; Y)是经过一次通信后信宿所获得的信息。 由式（2-30）知道，平均互信息量定义为： （2-38） 2．3．3 有关平均互信息量的两条定理 上式说明I(X ; Y)是信源分布概率q(x)和信道转移概率p(y︱x)的函数，下面两条定理阐明了I(X ; Y)与q(x)和p(y︱x)之间的关系。 定理2.1 当信道给定，即信道转移概率p(y︱x)固定，平均互信息量I(X ; Y)是信源概率分布q(x)的∩型凸函数。 两个信源分布q1(x)和q2(x)，分别对应平均互信息量I1(X ; Y)和I2(X ; Y)，记概率分布q(x)=θq1(x)+(1-θ)q2(x) （式中0 ?θ? 1），对应平均互信息量I(X ; Y)，若I(X ; Y)是∩型凸函数，则应满足： θI1(X ; Y)+(1-θ) I2(X ; Y) ? I(X ; Y) （2-39） 式(2-39)表示：函数的均值小于等于均值的函数，见图2-9 图2-9 函数的均值?均值的函数 q1 θq1+(1-θ) q2 q2 q(x) θI (q1)+(1-θ) I (q2 I[q(x)] I [θq1+(1-θ) q2] 定理2.1说明，信道固定时，对于不同的信源分布，信道输出端获得的信息量是不同的。因此，对于每一个固定信道，一定存在一种信源（一种分布）q(x)，使输出端获得的信息量最大。 【例2.16】二进制对称信道BSC如图2-10所示，输入符号集X ={x1,x2}={0,1}，输出符号集Y ={y1,y2}={0,1}，信道转移概率矩阵 ，信源分布为： ，计算平均互信 息量 I(X;Y)= H（Y）-H（Y︱X） 0 1-ε 0 1 1-ε 1 图2-10 二进制对称信道 ε ε 先由 算出： ω(0) = q(0) p(0︱0) + q(1) p(0︱1) =δ(1-ε) + (1-δ)ε ω(1) = = 1-ω(0) 再计算熵和条件熵 = H2 [δ(1-ε) + (1-δ)ε] = - (1-ε) log (1-ε)-εlogε= H2 (ε) 则平均互信息量 I(X;Y)= H（Y)-H（Y︱X）= H2 [δ(1-ε) + (1-δ)ε] - H2 (ε) 当信道固定，即? 为恒值，则I(X;Y)是δ的∩函数，其曲线如下图2-11所示。 当δ= 0.5时,I(X ; Y)取得极大值， 其值为log 2 -H2