信息论与编码第三章曹雪虹习题答案.docx

精品word学习资料可编辑 名师归纳总结——欢迎下载 第三章 3，1 设二元对称信道得传递矩阵为 (1) 如 P(0) = 3/4, P(1) = 1/4, 求 H(X), H(X/Y), H(Y/X) 与 I(X;Y) ; (2) 求该信道得信道容量及其达到信道容量时得输入概率分布 ; 解: 1) 精品word学习资料可编辑 名师归纳总结——欢迎下载 H ( X ) p( xi ) i ( 3 log 3 24 4 2 1 log 1 ) 24 4 2 0.811 bit / symbol 精品word学习资料可编辑 名师归纳总结——欢迎下载 H (Y / X ) p( xi ) p( y j i j / xi ) log p( y j / xi ) 精品word学习资料可编辑 名师归纳总结——欢迎下载 精品word学习资料可编辑 名师归纳总结——欢迎下载 ( 3 2 lg 2 3 1 lg 1 1 1 lg 1 1 2 lg 2 ) log 2 10 精品word学习资料可编辑 名师归纳总结——欢迎下载 4 3 3 4 3 3 4 3 3 4 3 3 精品word学习资料可编辑 名师归纳总结——欢迎下载 0.918 bit / symbol 精品word学习资料可编辑 名师归纳总结——欢迎下载 p( y1 )  p(x1  y1)  p(x2  y1 )  p( x1  ) p( y1  / x1)  p(x2  ) p( y1 /  x2 ) 3 2 1 1 4 3 4 3  0.5833 精品word学习资料可编辑 名师归纳总结——欢迎下载 p( y2 ) p(x1y2 ) p( x2 y2 ) p( x1 ) p( y2 / x1 ) p( x2 ) p( y2 / x2 ) 3 1 1 2 4 3 4 3 0.4167 精品word学习资料可编辑 名师归纳总结——欢迎下载 H (Y) p( y j ) j (0.5833 log 2 0.5833 0.4167 log 2 0.4167) 0.980 bit / symbol 精品word学习资料可编辑 名师归纳总结——欢迎下载 精品word学习资料可编辑 名师归纳总结——欢迎下载 I ( X ;Y) H ( X ) H ( X / Y) H (Y) H (Y / X ) 精品word学习资料可编辑 名师归纳总结——欢迎下载 H ( X / Y) H ( X ) H (Y) H (Y / X ) 0.811 0.980 0.918 0.749 bit / symbol 精品word学习资料可编辑 名师归纳总结——欢迎下载 I ( X ;Y) 2) H ( X ) H ( X / Y) 0.811 0.749 0.062 bit / symbol 精品word学习资料可编辑 名师归纳总结——欢迎下载 C max I ( X ; Y ) log 2 m H mi 1 1 2 2 log 2 2 ( lg lg ) log 2 10 3 3 3 3  0.082  bit  / symbol 精品word学习资料可编辑 名师归纳总结——欢迎下载 其正确输入分布为 3-2 某信源发送端有 2 个符号 ,,i＝ 1,2;,每秒发出一个符号； 接受端有 3 种符号 ,j＝ 1,2,3,转移概率矩阵为； 运算接受端得平均不确定度 ; 运算由于噪声产生得不确定度 ; 运算信道容量；解: 联合概率 X Y 0 就 Y 得概率分布为 Y (1) 精品word学习资料可编辑 名师归纳总结——欢迎下载 取 2 为底 a 1 a 1 1 a 1 1 a 1 1 a 1 精品word学习资料可编辑 名师归纳总结——欢迎下载 (2) H (Y | X ) log log log log log 2 2 2 2 2 2 4 4 4 4 精品word学习资料可编辑 名师归纳总结——欢迎下载 取 2 为底 精品word学习资料可编辑 名师归纳总结——欢迎下载 c max I ( X ; Y) max  H (Y )  H (Y | X ) max a log 2 1 log 1 a log 1 a 精品word学习资料可编辑 名师归纳总结——欢迎下载 p( xi ) 取 e 为底 = 0 p( xi ) p ( xi ) 2 4 1 a 2 4 1 a 精品word学习资料可编辑 名师归纳总结——欢迎下载 3，3 在有扰离散信道上传输符号 0 与 1, 在传输过程中每 100 个符号发生一个错误, 已知 P(0)=P(1)=1/2, 信源每秒