第11讲——离散无记忆信道的容量.ppt

? 推论（ N 个独立信道构成的并行信道） 设每个分信道的输入空间、输出空间和转移概率分 布相应为 X n ， Y n 和 P n ，则合成的积信道的输入、输 出空间及转移概率分布和容量分别为 ? ? ? N n n X X 1 ? ? ? N n n Y Y 1 ? ? ? N n n P P 1 和 ? ? ? N n n C C 1 【例】 DMC 的 N 次扩展信道 积信道 若任一单位时间可随机地选用信道 1 或信道 2 中的一个（ 两者不能同时选用 ）。选用信道 1 的概率为 p 1 ，选用信道 2 的概率为 p 2 , 且 p 1 + p 2 =1 。组合信道的输入空间为 称此组合信道为和信道，或称作并信道。 2 1 X X X ? ? 输出空间为 ，转移概率分布为 2 1 Y Y Y ? ? ? ? 2 1 2 1 Y j , Y , X k , X k : ) ( ), ( ? ? ? ? ? j k j p k j p 和信道 信道1 ? ? k a X ? 1 ? ? j b Y ? 1 ) ( k j p 信道2 ? ? 2 k a X ? ? ? 2 j b Y ? ) ( k j p 【例】 ? ? ? ? ? ? ? ? ? p p p p P 1 1 1 ? ? ? ? ? ? ? ? ? q q q q P 1 0 0 1 2 此时和信道的转移概率矩阵为 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? q q q q p p p p P P P 1 0 0 0 0 1 0 0 0 0 0 1 0 0 0 1 2 1 ? ? ? ? ) ( ) ( 2 1 ) | ( 0 0 ) | ( M J N K M N J K u v p x y p ? ? ? ? ? ? ? ? ? ? ? 和信道的互信息为 ? ? ? ? , 2 2 , 1 1 ) ( log ) ( ) ( log ) ( ) ; ( j k j k j k j k w p k j p k j p Q p w p k j p k j p Q p Y X I ? ? ? ? , 2 , 1 ) ( log ) ( ) ( log ) ( j k j k j k j k w k j p k j p Q p w k j p k j p Q p 2 2 1 1 log log p p p p ? ? ) ( ) ; ( ) ; ( 2 2 2 1 1 1 P H p Y X I p Y X I ? ? ? 其中 2 2 1 1 log log ) ( p p p p H ? ? ? P 离散无记忆信道 的容量 第十一讲 信道容量 ? ? k a X ? ? ? j b Y ? ) ( k j p ? ? )} , ( { max Y X I C k Q ? 信道容量 ) ; ( Y X I ? ? N 2 1 ,x , ,x x ? ? ? N 1 y y y , , , 2 ? ) | ( x y N p ) | ( ) | ( ) | ( 2 2 1 1 N N x y p x y p x y p ? ? ) , , , | , , , ( ) | ( 2 2 N 1 N 1 N x x x y y y p p ? ? ? x y 离散无记忆 Review 达到 C 充要条件 输入概率矢量 ? ? K Q Q Q Q , , , 1 0 ? ? 达到转移概率为 ? ? ) ( k j p 的 DMC 的容量 C 的充要条件为 C Y k x I ? ? ) ; ( 0 , ? ? k Q k C Y k x I ? ? ) ; ( 0 , ? ? k Q k 其中， ? ? ? ? i i j i j p Q k j p k j p Y k x I ) ( ) ( log ) ( ) ; ( Review 定理 3 对于准对称 DMC 信道 （ 1 ）达到信道容量的最佳输入分布为等概分布； （ 2 ）信道容量为 准对称信道的容量 最佳输入分布为等概分布 k Y k X I i j p K k j p k j p C J j K i ? ? ? ? ? ? ? ? ? ? ； ) ; ( ) | ( 1 ) | ( log ) | ( 1 0 1 0 Review 准对称 DMC 信道 准对称信道容量计算公式 ? ? ? ? ? ? ? ? ? ?