信息论与编码纠错第4章.pptVIP

再算得 §4.3 组合信道的容量 考虑有两个信道 信道1： 信道2： 下面介绍信道三种不同组合情况下的信道容量。 一．独立并行信道 在这种情况下，二个信道作为一个信道使用，传送符号XX′，接收符号YY′，因为两个信道是独立的，故并行信道的转移概率为： 这相当于信道是离散无记忆的，根据定理2.4，对于离散无记忆信道，下式成立 对上面不等式两边取最大值，得 C ? C 1 + C2 说明在两信道并行使用的情况下，总容量小于等于两信道单独使用时的信道容量之和。 推广到N个信道的并行组合，当N个信道并行独立使用时，记Ck (k = 1, 2, …, N )为第k个信道的信道容量，C为组合信道的总容量，则有 等号成立的条件，都要求信源离散无记忆，即要求信道独立使用且输入独立。 二．和信道 两个信道轮流使用，使用概率分别为p1，p2，且p1+p2 = 1，记概率分布P =（p1，p2），和信道的平均互信息计算如下 根据定义，有 求使上式取极大值的P, 令 对数以2为底，注意到p2 = 1- p1，得 记 （?为待定常数） 从上式中解出 （*） 代入条件p1+p2 = 1，得 式（*）中的p1，p2就是使平均互信息量I（p1，p2）达到最大的取值，将其代入信道容量公式，得： 故信道容量为： 推广到N个信道轮流使用的情况, 当N个信道以不同概率轮流使用时，记Ck (k = 1, 2, …, N )为第k个信道的信道容量，C为组合信道的总容量，则有 三．串行信道 将两个信道级联，有X = Y，如图所示 。 串行信道的信道转移概率 用矩阵表示为： 串连信道的总信道转移概率矩阵 第一个信道的转移概率矩阵 第二个信道的转移概率矩阵 【例】给定两个信道，信道转移概率矩阵分别为： 串行信道的转移概率矩阵为： 串行级联信道的信道转移概率趋向于两个独立信道转移概率的均值。这是很不利的，这种情况下出错概率增大，使信息能力减小。 求得串联信道的总转移概率矩阵，利用前面的方法可以求得信道的总容量。 若将N个转移概率相同的信道级联，当N →∞ 时，其总信道容量将趋于零。 对于前面的结论，可用数据处理定理说明： 信道1：P1 = [p (y/x)] ；信道2：P2 = [p (y/x )] 。 信道1和信道2是独立的，信道2的输出Z只与其输入Y及信道转移概率P2 = [p (y/x )]有关，而与X无关。因此信道1和信道2串连就构成了一个马尔可夫链，对于马尔可夫链有如下定理： 定理：若随即变量X、Y、Z组成一个马尔可夫链，如图所示，则有 I（X; Z）? I（X; Y） I（X; Z）? I（Y; Z） 数据处理定理：无论经过何种数据处理，都不会使信息量增加。 证明： 则： I（X; Z）? I（X; Y） 同理：I（X; Z）? I（Y; Z） 若满足：H(X/Y) = H(X/Z)，即满足p(x/y) = p(x/z)，则等号成立I（X; Z）= I（X; Y），说明这种情况下串行传输不会增加信息的损失。 【例】两个离散信道，将它们串行连接使用，计算总信道容量C。 【解】（1）先计算总信道的信道转移概率矩阵 串联信道的总信道矩阵P等于第一级信道的信道矩阵P1，从而概率满足 对上式两边关于x求和，得 上式说明：无论信源如何分布，只要串行信道的总信道转移概率矩阵等于第一个信道的转移概率矩阵，这样串行噪声信道就不会增加信道的信息损失，总的信道容量就等于第一个信道的容量。 (2) 计算信道容量C 第一个信道是输入只有两个消息的情况，设最佳分布为 p (x1) = ?，p (x2) = 1-?，仿照前面的方法可算出 ? = 0.4，则信道容量C = C1 = 0.32 (比特/符号)。 本 章 小 结 本章主要定义了信道容量及讨论了信道容量的计算方法。讨论并证明了使平均互信息量达到信道容量的充要条件，并给出如下几种情况下信道容量的计算方法 。 （1）准对称信道 （2）信源只含两个消息 （3）信道转移概率矩阵为可逆方阵 还讨论了多个信道组合使用情况下，总信道容量的计算方法，讨论了以下几种情况： （1）N个信道独立并行使用：记每个信道单独使用时的信道容量为Ck ，k=1,2, …, N，则总信道容量C满足 ，当N个信道独立输入且独立使用时等号成立。 （2）N个信道轮流使用：各信道使用概率为pk ，k =1,2, …, N，总信道容量为： 每个信道的使用概率为 （3）N个信道串联使用：记各个信道的信道转移概率矩阵为Pk ，k =1,2, …, N，则总信道的信道转移概率矩阵P等于各信道转移概率矩阵相乘，即P = P1 P2 … PN ，矩阵