彭代渊王玲-信息论及编码理论-第三章习题解答.pdfVIP

信息论与编码理论 第3 章 信道容量 2 / 3 1/ 3 3-1 设二进制对称信道的转移概率矩阵为  1/ 3 2 / 3 解: (1) 若P(a ) 3/ 4,P(a ) 1/ 4 ，求 和 1 2 H ( X ),H (Y ),H (X |Y ),H (Y |X ) I (X ;Y ) 。 2 3 3 1 1 H(X)=  p(a )log p(a )  log( )  log( ) 0.8113(bit / 符号)  i i i=1 4 4 4 4 3 2 1 1 7 p(b )=p(a )p(b |a )+p(a )p(b |a )=    1 1 1 1 2 1 2 4 3 4 3 12 3 1 1 2 5 p(b )=p(a )p(b |a )+p(a )p(b |a )=    2 1 2 1 2 2 2 4 3 4 3 12 2 7 7 5 5 H(Y)= p(b )log(b )=  log( )  log( ) 0.9799(bit / 符号) j j 12 12 12 12 j=1 2 2 H(Y|X)=  p(a ,b )logp(b |a )  p(b |a )logp(b |a )  i j j i  j i j i i, j j 2 2 1 1  log( )  log( ) 0.9183(bit / 符号) 3 3 3 3 I(X;Y)=H(Y) H(Y|X)=0.9799 0.9183 0.0616(bit / 符号) H(X|Y)=H(X) I(X;Y)=0.8113 0.0616 0.7497(bit / 符号) (2)求该信道的信道容量及其达到信道容量时的输入概率分布。 二进制对称信息的信道容量 H(P)=-plog(p)-(1-p)log(1-p) 1 1 2 2 C=1-H(P)=1+ log( )+ log( )=0.0817(bit/符) 3 3 3 3 BSC 信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位 3-2 求下列三个信道的信道容量