信息论与编码第三章曹雪虹习题答案ff8xalvl.doc

相信我，没错的！！！ 第三章 ?21??33??12???3.1 设二元对称信道的传递矩阵为?33? (1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布； 解： 1) 3311H(X)???p(xi)??(?log2??log2)?0.811 bit/symbol4444i H(Y/X)????p(xi)p(yj/xi)logp(yj/xi) ij 322311111122 ??(?lg??lg??lg??lg)?log210433433433433 ?0.918 bit/symbol 3211p(y1)?p(x1y1)?p(x2y1)?p(x1)p(y1/x1)?p(x2)p(y1/x2)?????03112p(y2)?p(x1y2)?p(x2y2)?p(x1)p(y2/x1)?p(x2)p(y2/x2)?????0H(Y)???p(yj)??(0.5833?log20.5833?0.4167?log20.4167)?0.980 bit/symbolj I(X;Y)?H(X)?H(X/Y)?H(Y)?H(Y/X) H(X/Y)?H(X)?H(Y)?H(Y/X)?0.811?0.980?0.918?0.749 bit/symbolI(X;Y)?H(X)?H(X/Y)??0.811?0.749?0.062 bit/symbol 2) 1122C?maxI(X;Y)?log2m?Hmi?log22?(lg?lg)?log210?0.082 bit/symbol3333 1其最佳输入分布为p(xi)? 2 3-2某信源发送端有2个符号，xi，i＝1，2；p(xi)?a，每秒发出一个符号。接受端有3 ?1/21/20?种符号yi，j＝1，2，3，转移概率矩阵为P???。 1/21/41/4?? （1） 计算接受端的平均不确定度； 没文化，真可怕！！！ 相信我，没错的！！！ （2） 计算由于噪声产生的不确定度H(Y|X)； （3） 计算信道容量。 ?1/21/20?? 1/21/41/4?? 联合概率p(x,y) 解：P?? log?log（1）H(Y)?log2? 241?a41?a1116a1?a?log2?log?log 2241?a41?a1111a1?a?log2?log16?log?log 2441?a241?a311a1?a?log2?log?log 2241?a41?a取2为底 311a1?aH(Y)?(?log2?log)bit 2241?a241?a 1a11?a11?a11?a1??a（2）H(Y|X)???log?log?log?log?log? 222224444??2 3(1?a)??alog2?log2 2 3?a?log2 2 取2为底 H(Y|X)?3?abit 2 11a1?a??a?c?maxI(X;Y)?max?H(Y)?H(Y|X)??max?log2?log?log?p(xi)p(xi)p(xi)41?a241?a??2 a11a1?a?(ln2?ln?ln2 取e为底?a 112a11?aa11?ln2??ln?(??) 241?a241?a41?a1?a1a11?aa2?ln2??ln? 22(1?a2)41?a41?a2 没文化，真可怕！！！ 相信我，没错的！！！ ?111?aln2?ln 241?a = 0 1?a1? 1?a4 3?a? 5 1311131 ?c??log2?log??log92541?454 312531?log2?log?log3153?log2?log?log2 102410 15?log 24 3.3 在有扰离散信道上传输符号0和1，在传输过程中每100个符号发生一个错误，已知P(0)=P(1)=1/2，信源每秒 1－e Y 0 1 1 2 1－e 2 没文化，真可怕！！！ 相信我，没错的！！！ 00??1??,此信道为非奇异矩阵,又r=s,可利用方程组求解 e解: 信道矩阵P=01?e???e1－e??0? ?3 j=1P(bj|ai)bj=?P(bj|ai)logP(bj|ai) (i=1,2,3) j=13 ìb1=0???í(1-e)b2+eb3=(1-e)log(1-e)+eloge ?????eb2+(1-e)b3=eloge+(1-e)log(1-e)解得b1=0 b2=b3=(1-e)log(1-e)+eloge 所以 C=log?2j=log[20+2×2(1-e)log(1-e)+eloge