信息论课件要点.pptVIP

第四章 离散信道 分类 无损信道 无噪信道 无损无噪信道 定义 H(X|Y)=0（无损） H(Y|X)0（有噪） H(X|Y)0（有损） H(Y|X)=0（无噪） H(X|Y)=0（无损） H(Y|X)=0（无噪） 特点 一多对应 多一对应 一一对应 确定信道的损失熵和噪声熵 第四章 离散信道 分 类 无损无噪信道 无损信道 无噪信道 信道容量 最佳信源 等概分布 等概分布 使信道输出为等概率分布p(y)=1/s的输入分布 第四章 离散信道 2. 离散对称信道 ①. 离散输入对称信道 ②. 离散输出对称信道 ③. 离散准对称信道 ④. 离散对称信道 ⑤. 离散强对称信道 第四章 离散信道 ①. 离散输入对称信道 若一个离散无记忆信道的信道矩阵中，每一行都是其它行的同一组元素的不同排列，则称此类信道为离散输入对称信道。 输入对称信道的噪声熵为 输入对称信道的信道容量为 第四章 离散信道 ②. 离散输出对称信道 若一个离散无记忆信道的信道矩阵中，每一列都是其它列的同一组元素的不同排列，则称此类信道为离散输出对称信道。 第四章 离散信道 ③. 离散准对称信道 若一个离散无记忆信道，按照信道矩阵的行可以将信道矩阵划分成 n个子矩阵，且每个子矩阵中的每一行（列）都是其它行（列）的同一组元素的不同排列，则称此类信道为离散准对称信道。 ＊当等概率分布信源通过离散准对称信道时，平均互信息I(X;Y)达到信道容量C。 第四章 离散信道 ④. 离散对称信道 离散准对称信道定义中划分的子集只有一个时，信道是关于输入和输出对称的，这类信道称为对称信道。 ＊信道容量为 ＊最佳信源为等概率分布信源。 第四章 离散信道 ⑤. 离散强对称信道 若信道输入符号和输出符号个数相同，且信道矩阵为 ＊信道容量为 ＊最佳信源为等概率分布信源。 ＊强对称信道是对称信道的特例。 第四章 离散信道 3. 离散无记忆N次扩展信道的信道容量 　　N次扩展信道的信道容量为 其中， ＊信道输入X1,X2,…,XN取值同一符号集合A； ＊信道输出Y1,Y2,…,YN取值同一符号集合B； ＊最佳信源：通过原始信道时平均互信息达到信道容量的信源的N次无记忆扩展信源。 第四章 离散信道 4. 离散独立并联信道 　　　并联信道中，每个信道的输出Yi 只与本信道的输入 Xi有关，而与其他信道的输入输出无关 第四章 离散信道 ①. 独立并联信道的联合平均互信息为 ②. 独立并联信道的信道容量 其中， 等号成立 Xi相互独立 ＊Ci 是第i个信道的信道容量； ＊独立并联后信道的信道容量 ＊如果 是第i个信道的最佳信源，则最佳信源分布为 第四章 离散信道 5. 和信道（合信道）的信道容量 信道P1、P2的和信道P P1 0 0 P2 P = ＊和信道的信道容量 若P1、P2和P的信道容量为C1、C2和C，则有 ＊和信道最佳信源 设p1 (x)、p2(x)和p(x)是信道P1、P2和P的最佳信源 令 则 ＊易推广到N个信道形成的合信道。 第四章 离散信道 6. 一般离散信道的信道容量 在条件下 求 计算： ①、引入函数 ②、解方程，求得p(ai), i=1,2,…,r及λ ③、将p(ai), i=1,2,…,r 代入I(X;Y)中得到C 对吗？还差什么？ 第四章 离散信道 定理：对于一般离散信道，设输入r个符号，输出s个符号，当且仅当存在常数C，使得输入分布p(ai)满足 时，I(X;Y) 达到最大，C就是信道容量。 其中： 第四章 离散信道 §4.6 信源和信道的匹配 1. 定义 当信源与信道连接时，若信息传输率R 达到了信道容量C ，则称此信源与信道达到匹配。 R = I(X;Y) = C 否则，称信道有剩余→信道剩余度 2. 信道剩余度 信道容量与信道实际传输的平均互信息量之差。 信息理论基础 第四章 离散信道 内容提要 § 4.1 信道模型及其分类 § 4.2 离散无记忆信道 § 4.3 离散无记忆扩展信道 § 4.4 信道的组合 § 4.5 信道容