第5章 离散无记忆信道 的编码理论.pdfVIP

第5章 离散无记忆信道 的编码理论 5.1 信道容量 ssz 1 5.1 信道容量 X Y 信道：传输信息的通道 。 干扰与转移概率： {q ( y | x )} Y 干扰使 具有了随机性。 X 信道 Y {q (y | x )} 5.1 信道容量 离散信道：输入和输出在时间上是离散的。 X , Y 取值也是离散的，即 X A {0,1,2, ,K 1}, Y B {0,1,2, ,J 1} 定义5.1.1 若离散信道对于任何自然数 N 和 ssz 2 5.1 信道容量 x (x , x ,, x ),y (y , y ,, y ) N 1 2 N N 1 2 N 有 N q (y | x ) q ( y | x ) N N N i i i 1 {A ;q (y | x ); B } 则称信道为离散无记忆的，并用 来 表示。 通信的信道模型 w x y ˆ 信道 w 信道编码 信道译码 {q ( y | x )} ssz 3 5.1 信道容量 5.1.1 信道容量的定义和例子 X (入口)分布：pk P (x k ),k 0,1,2,,K 1 K 1 Y (出口)分布： w j  pk q ( j | k ) 传输的信息量： k 0 I (X ;Y ) K 1 J 1 q ( j | k ) I ( X ;Y ) p q ( j | k ) log k