信息论与编码纠错第4章节.pptVIP

再算得 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. §4.3 组合信道的容量 考虑有两个信道 信道1： 信道2： 下面介绍信道三种不同组合情况下的信道容量。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 一．独立并行信道 在这种情况下，二个信道作为一个信道使用，传送符号XX′，接收符号YY′，因为两个信道是独立的，故并行信道的转移概率为： 这相当于信道是离散无记忆的，根据定理2.4，对于离散无记忆信道，下式成立 对上面不等式两边取最大值，得 C ? C 1 + C2 说明在两信道并行使用的情况下，总容量小于等于两信道单独使用时的信道容量之和。 推广到N个信道的并行组合，当N个信道并行独立使用时，记Ck (k = 1, 2, …, N )为第k个信道的信道容量，C为组合信道的总容量，则有 等号成立的条件，都要求信源离散无记忆，即要求信道独立使用且输入独立。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 信息论与编码 第4章 离散信道的信道容量 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 内容提要 信道对于信息率的容纳并不是无限制的，它不仅与物理信道本身的特性有关，还与信道输入信号的统计特性有关，它有一个极限值，即信道容量，信道容量是有关信道的一个很重要的物理量。这一章研究信道，研究在信道中传输的每个符号所携带的信息量，并给出信道容量的定义和计算方法。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. §4.1信道容量的定义 一．信息传输率 平均互信息量 H ( X )：信道输入方关于发送符号集X中的某个消息的平均不确定性； H(X/Y)：信道输出方接收到符号集Y后对X发送消息仍存在的平均不 确定性； I(X;Y)：为通信过程中获得的信息量，也就是平均每个码元所携带的信息量。 对于单符号传输情况，信息传输率为： Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 二．信道容量 信息传输率是衡量通信质量的一个重要指标，由前面的定理知：对于固定信道，总存在某种输入概率分布 p ( x ) ，使 I（X; Y）达到最大值，定义这个最大值为信道容量，记为C。 使I（X; Y）达到信道容量的分布p(x)为最佳分布。 信道容量C就是在保证可靠通信的前提下，信道所能容纳的最大信息传输量。 对于固定信道，信道容量C是一个固定值；对于不同信道，C不同，信道容量C是信道转移概率p(y/x)的函数。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. §4.2 离散无记忆信道容量的计算 一．离散无记忆信道的容量 如果信道输入的是N维序列XN，其概率分布为P（XN），输出的是N维序列YN，则平均互信息量记为I（XN；YN），此时N维信道容量定义为： 下面一条定理给出了一维信道和N维信道的信道容量之间的关系。 定理：如果信道是离散无记忆（DMC）的，则CN ? NC， 其中C是同一信道传输单符号时的信道容量。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose