武汉理工大学信息理论与编码第三章 信道模型和信道容量（二）.pdfVIP

3.5 信道容量C 信息传输系统的衡量指标： （1）数量（速度）指标：信息（传输）率R ，即信道中平均 每个符号传递的信息量； （2 ）质量指标：平均差错率P ，即对信道输出符号进行译码 e 的平均错误概率。 愿望：信道传输信息时速度快、错误少，即R尽量大而Pe 尽 量小。 信息率能大到什么程度？这就是信道容量问题。 3.5.1 信道容量的定义 X Y DMC {a ,a , ,a } {b ,b , ,b } 1 2 r 1 2 s 噪声 信息率R ，就是信道的平均互信息量： R I (X ;Y) H (X ) H (X | Y) H (Y) H (Y | X ) bit/符号 1 信息传输速率Rt ： Rt I (X ;Y) bit/秒 t 信道容量C ：信道的最大的信息率，即 C max R max I (X ;Y) bit/符号 P P X X 信道容量也可以定义为信道的最大的信息速率，记为C ： t 1  Ct max Rt max  I (X ;Y)  bit/秒 P P X X t  关于信道容量的几点注释 C max R max I (X ;Y) bit/符号 P P X X (1) 信道容量C 是信道信息率的上限，定量描述了 信道（信息的）最大通过能力； (2) 使得给定信道的I(X ;Y) 达到最大值(即信道容量) 的输入概率分布，称为最佳输入(概率)分布，记 * 为 ； P X (3) 信道的I(X ;Y) 与输入概率分布P 和转移概率分 X 布PY|X两者有关，但信道容量是信道的固有参数， 只与信道转移概率PY|X有关。 3.5.2 离散无噪信道的信道容量 无噪信道：无损信道、确定信道以及无损确定信道的统称。 （1）无损信道：损失熵为零的信道。 1 4 a b 1 1