信息论-复习题.docxVIP

PAGE PAGE 34 【3.2】设8个等概率分布的消息通过传递概率为p的BSC进行传送，8个消息 相应编成下述码字： M1=0000，M2=0101，M3=0110，M4=0011 M5=1001，M6=1010，M7=1100，M8=1111 试问： （1）接收到第一个数字0与M1之间的互信息； （2）接收到第二个数字也是0时，得到多少关于M1的附加互信息； （3）接收到第三个数字仍为0时，又增加了多少关于M1的互信息； （4）接收到第四个数字还是0时，再增加了多少关于M1的互信息。 解： 各个符号的先验概率均为1/8 (1)根据已知条件，有 因此接收到第一个数字0与M1之间的互信息为： （2）根据已知条件，有 因此接收到第二个数字也是0时，得到多少关于M1的互信息为： 得到的附加信息为： （3）根据已知条件，有 因此接收到第三个数字也是0时，得到多少关于M1的互信息为： 此时得到的附加信息为： （4）根据已知条件，有 因此接收到第四个符号为0时，得到的关于M1的互信息为 此时得到的附加信息为 【3.3】设二元对称信道的传递矩阵为 （1）若P(0)=3/4，P(1)=1/4，求H(X )，H(X | Y )，H(Y | X )和I (X;Y)； （2）求该信道的信道容量及其达到信道容量时的输入概率分布。 解：（1）根据已知条件，有   【3.5】若X 、