信息论课件..pptVIP

3 ．1 设信源 解：（1）I(x1) = -logP (x1) = -log(0.6) =0.7365 (bit) I(x2) = -logP (x2) = -log(0.4) =1.321(bit) 通过一干扰信道，接收符号为Y=[y1,y2]，信道传递概率如图所示。求： (1)信源X中事件x1和x2 分别含有的自信息。 (2)收到消息yi(i＝1,2)后，获得的关于xi (i＝1,2)的信息量。 (3)信源X和信源Y的信息熵。 (4)信道疑义度H(X/Y)和噪声熵H(Y/X) 。 (5)接收到消息Y后获得的平均互信息。 （3）H(X) = H(0.6, 0.4) = 0.97 (bit/符号) H(Y) = H(0.8, 0.2) = 0.72 (bit/符号) （2）信道矩阵： （5）I(X;Y)=H(X)-H(X/Y)=0.97-0.963=0.007 (bit/符号) 信道疑义度 噪声熵 （4）信道疑义度H(X/Y)和噪声熵H(Y/X) ： 3 ．10 求图中信道的信道容量及其最佳的输入概率分布。 解：（1） 为对称信道，所以： C = log s -H(1/3,1/6,1/3,1/6) = log 4 -H(1/3,1/6,1/3,1/6) =0.0817(bit/符号) 最佳的输入