第3章 离散信道和其信道容量.ppt

平均互信息量 如果将信道的发送和接收端分别看成是两个“信源”，则两者之间的统计依赖关系，即信道输入和输出之间的统计依赖关系描述了信道的特性。 互信息量I(xi;yj)是定量研究信息流通问题的重要基础。它是一个随机变量，不能从整体上作为信道中信息流通的测度。 以下介绍 平均互信息量的定义 平均互信息量的物理含义 平均互信息量的性质 平均互信息量的定义 平均互信息量定义：互信息量I(xi;yj)在联合概率空间P(XY)中的统计平均值。 称I(X;Y)是Y对X的平均互信息量（简称平均互信息/平均交互信息量/交互熵）。 X对Y的平均互信息定义为 平均互信息量的物理含义 观察者站在输出端 观察者站在输入端 观察者站在通信系统总体立场上 H(X/Y) —信道疑义度/损失熵。 Y关于X的后验不确定度。表示收到变量Y后，对随机变量X仍然存在的不确定度。代表了在信道中损失的信息。 H(X) —X的先验不确定度/无条件熵。 I(X;Y)—收到Y前、后关于X的不确定度减少的量。从Y获得的关于X的平均信息量。 2.观察者站在输入端 观察者得知输入端发出xi前、后对输出端出现yj的不确定度的差。 H(Y/X)—噪声熵。表示发出随机变量X后，对随机变量Y仍然存在的平均不确定度。如果信道中不存在任何噪声，发送端和接收端必存在确定的对应关系，发出X后必能确定对应的Y，而现在不能完全确定对应的Y，这显然是由信道噪声所引起的。 I(Y;X) —发出X前、后关于Y的先验不确定度减少的量。 结论 以上三种不同的角度说明：从一个事件获得另一个事件的平均互信息需要消除不确定度，一旦消除了不确定度，就获得了信息。 小结 假设P(0)=P(2)=1/2，P(1)=0，则： 第六节 级联信道 在通信系统中,信息的传输往往要依次通过若干个信道。 这些信道通常采用级联的形式。 级联的含义是被连接的信道输入只依赖于前面相邻信道的输出而和前面的其它信道的输出无直接关系。 我们可以把通信系统模型看成各部分的级联，如下图所示。信源发出L长的序列UL，通过编码后得到N长的码序列XN， 经信道传输后，译码器收到N长序列为YN，译码后传给信宿的消息序列为VN。 通信系统模型各部分的级联 随机序列X,Y,Z ，当Y给定时,Z不依赖于X,即：P(z/y)=P(z/xy)，则X,Y,Z构成马氏链。 则信道X-Y与Y-Z构成的信道是级联信道，满足马氏链。 如图所示： 级联信道 定理3.7 数据处理定理 定理3.8 若X,Y,Z构成一马氏链，则 证： 即： 同理可证明 。 数据处理定理的推广 （1）先计算总信道的信道转移概率矩阵 (2)计算信道容量C * 第五节 离散无记忆扩展信道及其信道容量 多符号离散信道定义 定义：多符号离散信源X =X1X2…XN在N个不同时刻分别通过单符号离散信道{X P(Y/X) Y}，则在输出端出现相应的随机序列Y =Y1Y2…YN，这样形成一个新的信道称为多符号离散信道。 * 第五节 离散无记忆扩展信道及其信道容量 离散无记忆信道的N次扩展信道的传递概率等于各单位时刻相应的单符号离散无记忆信道的传递概率的连乘。 * 第五节 离散无记忆扩展信道及其信道容量 离散无记忆信道为： 则它的N次扩展信道为： 为N次扩展信源中的一个符号 为N次扩展接收符号集中的一个符号 * 我们首先从一个例子开始 例：二元无记忆对称信道得二次扩展信道 二元记忆对称信道为 ： 第五节 离散无记忆扩展信道及其信道容量 * 可以将信道的扩展和信源的扩展联系起来看，当信源扩展以后，信道也就称为了扩展信道。 则它的二次扩展信道为： 第五节 离散无记忆扩展信道及其信道容量 * 根据平均互信息的定义 定理3.5 如果信道是无记忆的，即 则： 定理3.6 如果信源是无记忆的 第五节 离散无记忆扩展信道及其信道容量 * 因此，如果信源、信道都是无记忆的 这就是离散无记忆扩展信道得信道容量，该信道容量在信源是无记忆信源且每一个输入变量Xi达到最佳分布时达到。 第五节 离散无记忆扩展信道及其信道容量 若（X,Y,Z）构成马氏链, 则： 信道2 信道3 信道1 X Y Z W 经过数据处理，信息量一般会有丢失，最多保持原有信息，绝对不会有信息增强。（又称信息不增性原理。） 该定理表明：信息处理（如