信息论与编码第3章信道与信道容量.pptVIP

普通高等教育 “ 十五 ” 国家级规划教材《信息论与编码》 曹雪虹等编著 31 3.3 离散序列信道及其容量 扩展信道 如果对离散单符号信道进行 L 次扩展，就 形成了 L 次离散无记忆序列信道 1 BSC 的二次扩展信道 X ? {00,01,10,11} ， Y ? {00,01,10,11} ， 二次扩展无记忆信道的序列转移概率 p (00/00)= p (0/0) p (0/0)=(1- p ) 2 ， p (01/00)= p (0/0) p (1/0)= p (1- p ) ， p (10/00)= p (1/0) p (0/0)= p (1- p ) ， p (11/00)= p (1/0) p (1/0)= p 2 00 10 11 01 00 01 10 11 普通高等教育 “ 十五 ” 国家级规划教材《信息论与编码》 曹雪虹等编著 32 3.3 离散序列信道及其容量 扩展信道 1 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 2 2 2 2 2 2 2 2 ) 1 ( ) 1 ( ) 1 ( ) 1 ( ) 1 ( ) 1 ( ) 1 ( ) 1 ( ) 1 ( ) 1 ( ) 1 ( ) 1 ( p p p p p p p p p p p p p p p p p p p p p p p p P ] ), 1 ( ), 1 ( , ) 1 [( 4 log 2 2 2 2 p p p p p p H C ? ? ? ? ? 若 p ＝ 0.1 ，则 C 2 ＝ 2 － 0.938 ＝ 1.062 比特 / 序列 普通高等教育 “ 十五 ” 国家级规划教材《信息论与编码》 曹雪虹等编著 33 3.3 离散序列信道及其容量 独立并联信道 序列的转移概率 p ( Y 1 Y 2 … Y L / X 1 X 2 … X L )= p ( Y 1 / X 1 ) p ( Y 2 / X 2 ) … p ( Y L / X L ) 1 X 1 p ( Y 1 / X 1 ) Y 1 X 2 p ( Y 2 / X 2 ) Y 2 …… X L p ( Y L / X L ) Y L ? ? ? L l l l Y X I I 1 ) ; ( ) ; ( Y X ? ? ? ? L l l L C I C 1 12 ) ; ( max Y X ? 普通高等教育 “ 十五 ” 国家级规划教材《信息论与编码》 曹雪虹等编著 34 3.4 连续信道及其容量 连续单符号加性信道 x ( x ? R) p ( y / x ) y ( y ? R) n 平均互信息为 I ( X ; Y ) ＝ H C ( X ) － H C ( X / Y ) ＝ H C ( Y ) － H C ( Y / X ) ＝ H C ( X ) ＋ H C ( Y ) － H C ( XY ) 信道容量 ? ? ) / ( ) ( max ) ; ( max ) ( ) ( X Y H Y H Y X I C C C x p x p ? ? ? ( ) max ( ) ( ) C C p x C H Y H n ? ? y = x + n 普通高等教育 “ 十五 ” 国家级规划教材《信息论与编码》 曹雪虹等编著 35 3.4 连续信道及其容量 连续单符号加性信道 若噪声是均值为零、方差为 ? 2 的加性高斯噪声， H c (n) 最 大，信道容量就小。这是信道危害最大的情况，所以在处理实 际问题时，通常采用计算高斯噪声信道容量的方法保守地估计 容量，且高斯噪声信道容量容易计算。 2 ( ) 1 max ( ) log2 2 C p x C H Y e ? ? ? ? ( ) max ( ) ( ) C C p x C H Y H n ? ? 普通高等教育 “ 十五 ” 国家级规划教材《信息论与编码》 曹雪虹等编著 36 3.4 连续信道及其容量 连续单符号加性信道 p Y ( y ) ＝ N(0,P) ， p n (n) ＝ N(0, ? 2 ) ， y = x + n ，所以 p X ( x ) ＝ N(0,S) ) 1 log( 2 1 log 2 1 2 log 2 1 2 log 2 1 2 2 2 ? ? ? ? ? S P e eP C ? ? ? ? ? C ＝ 1/2 log(1+ SNR ) 信道输入 X 是均值为零、方 差为 S 的高斯分布随机变量 时，信息传输率达到最大值 若是 加性 的，可以求出信道容量的上下界 ) ( 2 log 2 1 ) 1 log( 2 1 2 n H eP C S C ? ? ? ? ? ? 普通高等教育 “ 十五 ” 国家级规划教材《信息