信息论 第三章 离散信道及其信道容量.ppt

3.1 信道的数学模型及分类 离散信道：输入和输出的随机序列取值都 是离散的。 连续信道：输入和输出的随机序列取值都 是连续的。 半离散或半连续信道：一端序列取值是离 散的一端序列取值是连续的。 波形信道：输入输出都是时间上连续 的随机信号X(t),Y(t). 3.1.2 离散信道的数学模型 1、无干扰（无噪）信道 输出信号Y与输入信号X之间有确定的一一对应关系 a1 b1 a2 b2 ar bs 概念 ——信道传递概率——前向概率 3.2 平均互信息及平均条件互信息 3.2.1 信道疑义度 3、条件熵——信息疑义度——H（X|Y） 讨论： （1）一般情况下，H（X|Y）H（X） 说明接收到Y后，关于输出变量X的不确定 性减少了，即总能消除一些关于X的不确 定性，从而获得信息。 （2）对于无扰信道 接收到Y后，完全消除了对X的不确定 性，从而获得全部信息。 3.2.2 平均互信息 1、定义式——平均互信息 2、互信息定义式 3、其它熵的定义式及计算 联合熵 —— H（XY） 4、两种极端信道 3.2.3 平均条件互信息 两概率空间中两事件之间的互信息。 两个概率空间X、Y之间的平均互信息 定义： 4、平均联合互信息 3.3 平均互信息的特性 3.3.1 平均互信息的非负性 3.3 平均互信息的特性 3.3.1 平均互信息的非负性 3.3.2 平均互信息的极值性 3.3.3 平均互信息的交换性（对称性） 定理3.1 平均互信息 是输入信源概率分布 的 型凸函数。 定理3.2 平均互信息 是信道传递概 率 的 型凸函数. 3.4 信道容量及其一般计算方法 3.4 信道容量及其一般计算方法 信息传输率R：信道中平均每个符号所能传送的信息量。 3.6 离散无记忆扩展信道及其信道容量 3.7 独立并联信道及其信道容量 3.8 串联信道的互信息和数据处理定理 信道固定（固定p），I（X；Y）是ω的 型凸函数。 信道固定后，接收到的信息量I（X；Y）与输入概率分布p（x）有关。当ω＝1/2（等概率分布）时，信道接收端平均每个符号获得最大的信息量。 例3.4 续 固定 时， 是 p的 型凸函数. 当二元信源固定后，存在一种二元对称信道（p＝1/2时），使信道输出端获得的信息量最小，等于0. —— 最差信道 当信源固定后，选择不同的信道来传输同一信源符号时，在信道的输出端获得关于信源的信息量是不同的。 3.4.1 离散无噪信道的信道容量 3.4.2 对称离散信道的信道容量 3.4.3 准对称信道的信道容量 平均互信息 ：接收到Y后，平均 每个符号获得的关于X的信息量。 信息传输速率Rt：信道在单位时间内（一 般以秒为单位）平均传输的信息量。 虽然 符号 相应的输入概率分布称最佳输入分布. 也称信道容量 信道容量定义： 对于一个固定信道，总存在一种信源（概率分布 ），使传输每个符号平均获得的信息量最大。这就是固定信道的最大信息传输率，定义为信道容量C。 信道容量的物理意义： 信道容量已与输入信道的概率分布无关，它只是信道传输概率的函数，只与信道的统计特性有关。所以，信道容量是能完全描述信道特性的参量,是信道能够传输的最大信息量。 如例3.4中 只与 有关，而与 无关了。 3.4.1 离散无噪信道的信道容量 1、无噪无损信道 2、有噪无损信道 I（X;Y） H（Y|X） H（X） H（Y） 3、无噪有损信道 1 1 1 1 1 1 I（X;Y） H（X|Y） H（Y） H（X） 小结： 3.4.2 对称离散信道的信道容量 1、对称离散信道 判断下列信道是否是对称离散信道？ 是 是 不是 不是 2、强对称信道 （均匀信道） 3、对称离散信 道的