信息论和编码第三章.pptVIP

 第三章 离散信道 §3.1 信道的数学模型和分类 离散信道：I/O的R、V的取值都是离散的信道； 连续信道：入/出R、V的取值都是连续的信道； 半散半续：λ、R、V离散出R、V连续或相反。 离散信道，必须确定其主要参数： 输入 ： 输出 ： 信道的传输作用 ： 1、主要参数表示法：单符号： 多符号： 2、信道矩阵表示法： 3、图示法： 离散信道分类： A、理想信道：输入输出一一对应， 且 B、有干扰无记忆信道 ： 或： C、有干扰有记忆信道 ： 例：二进制对称信道；二进制扩展信道。  一般离散信道的一些概率关系 1、输入符号ai, 输出符号bj的联合概率 前向概率 ： 后向（验）概率 2、输出符号bj的概率： 3、信宿收列符号bj后，推测输入符号ai的后验概率： 由贝叶斯定律 且： §3.2 信道疑义度及平均互信息 3.2.1交互信息量 信息流通的根本问题 :通信前后对信道输入ai不确定性消除的量。 1.站在信道的输出端观察 2.站在信道的输入端观察 3、站在通信系统的总体立场观察 通信前：