信息论与编码第三章曹雪虹习题答案.docx

第三章3、1 设二元对称信道得传递矩阵为P(0)P(1)求 H(X), H(X/Y), H(Y/X)I(X;Y);(1)(2)解:1)= 3/4,= 1/4,;如与求该信道得信道容量及其达到信道容量时得输入概率分布( 334141 )H ( X )p( x )loglog0.811 bit / symboli2244iH (Y / X )p( xi ) p( y j / xi ) log p( y j / xi )ij( 340.9182 lg 2341 lg 11 1 lg 14 3 31422lg ) log 2 103 33 33 3bit / symbol3423 第三章 3、1 设二元对称信道得传递矩阵为 P(0) P(1) 求 H(X), H(X/Y), H(Y/X) I(X;Y) ; (1) (2) 解: 1) = 3/4, = 1/4, ; 如 与 求该信道得信道容量及其达到信道容量时得输入概率分布 ( 3 3 4 1 4 1 ) H ( X ) p( x ) log log 0.811 bit / symbol i 2 2 4 4 i H (Y / X ) p( xi ) p( y j / xi ) log p( y j / xi ) i j ( 3 4 0.918 2 lg 2 3 4 1 lg 1 1 1 lg 1 4 3 3 1 4 2 2 lg ) log 2 10 3 3 3 3 3 3 bit / symbol 3 4 2 3 1 3 1 4 1 4 1 3 2 3 p( y ) p(x y ) p(x y ) p( x ) p( y / x ) p(x ) p( y / x ) 0.5833 1 1 1 2 1 1 1 1 2 1 2 3 4 p( y ) p(x y ) p( x y ) p( x ) p( y / x ) p( x ) p( y / x ) 0.4167 2 1 2 2 2 1 2 1 2 2 2 H (Y ) p( y j ) (0.5833 log 2 0.5833 0.4167 log 2 0.4167) 0.980 bit / symbol j I ( X ;Y) H ( X / Y ) I ( X ;Y) 2) H ( X ) H ( X ) H ( X ) H ( X / Y ) H (Y) H ( X / Y ) H (Y ) H (Y / X ) 0.811 H (Y / X ) 0.811 0.749 0.980 0.062 0.918 0.749 bit / symbol bit / symbol 1 1 2 3 2 3 C max I ( X ; Y ) log m H log 2 2 ( lg lg ) log 2 10 0.082 bit / symbol 2 mi 3 3 其正确输入分布为 3-2 某信源发送端有 率矩阵为； 2 个符号 ,,i ＝ 1,2;,每秒发出一个符号； 接受端有 3 种符号 ,j＝ 1,2,3,转移概 （1） （2） （3） 解: 运算接受端得平均不确定度 ; 运算由于噪声产生得不确定度运算信道容量； ; 联合概率 X Y 0 就 Y 得概率分布为 Y (1) 取 2 为 底a212a2121a121a141a14(2) H (Y | X )logloglogloglog244取 2 为 底max a log 21 log41a 2a log 1aacmax I ( X ; Y)p( xi )maxp( xi ) 取 2 为 底 a 2 1 2 a 2 1 2 1 a 1 2 1 a 1 4 1 a 1 4 (2) H (Y | X ) log log log log log 2 4 4 取 2 为 底 max a log 2 1 log 4 1 a 2 a log 1 a a c max I ( X ; Y) p( xi ) max p( xi ) H (Y ) H (Y | X ) 2 1 4 1 p ( xi ) 取 e 为 底 = 0 3、3 在有扰离散信道上传输符号 0 与 1, 在传输过程中每 100 个符号发生一个错 误, 已知 P(0)=P(1)=1/2, 解: 由题意可知该二元信道得转移概率矩阵为 1000 个符号 , 求此信道得信道容量； 信源每秒内发出 : 为一个 BSC信道 所以由 BSC信道得信道容量运算公式得到 : 3、4 求图中信道得信道容量及其正确得输入概率分布、并求当 道容量 C 得大小； =0 与 1/2 时得信 解: 信道矩阵 P=,此X信道为非奇特矩阵 r=s,可利用Y方程组求解 0 ,又 1 (i=1,2,3) 0 = 解得 1－ 1 1 所以 C=lo