(信息论)第4章节离散信道及其容量.ppt

4.3.2 定理 定理 4.3.1 若信道的输入和输出分别是 N 长序列X 和 Y，且信道是无记忆的，亦即信道传递概率为 或者 则存在 式中， 和 是随机序列 X 和 Y 中第 i 位随机变量。式(4.22)意味着平均互信息 小于或等于单个随机变量 和 的互信息 之和。 (4.22) 定理 4.3.2 若信道的输入和输出分别是 N 长序列X 和 Y，且信源是无记忆的，亦即 或者 则存在 式中， 是随机序列 X 和 Y 中对应的第 i 位随机变量。 (4.27) 当信源和信道都是无记忆时，则式(4.22)和(4.27)可同时满足，即它们的等号成立，这相当于 N 个独立信道并联的情况。 对于离散无记忆信道的 N 次扩展信道，当信源也是无记忆时，则有 式(4.30)表明，当信源是无记忆时，对无记忆 N 次扩展信道，其平均互信息 等于原来信道的平均互信息 的 N 倍。 (4.30) 4.4 信道的组合 信道组合类型 积信道（并联信道） 级联信道(串联信道) 和信道(串并结合信道) 这里仅介绍级联信道。 信道 I 信道 II X Y Z 级联信道 上图的信道 I 和信道 II 都是离散无记忆信道的情况。信道 I 的输入随机变量为X，它取值于输入符号集 ，输出随机变量为Y，它取值于符号集 ；信道II的输入随机变量为Y，输出随机变量为Z，它取值于输出符号集 。信道 I 的传递概率为 。信道II的传递概率为 。显然，信道II的传递概率一般与前面的符号 x 和 y 均有关。 定理 4.4.1 级联信道中的平均互信息满足以下关系 等号成立的充要条件，对所有的 ，有 (4.35) (4.34) (4.33) (4.32) 上式等号成立的条件是 ，它表示输出随机变量Z仅依赖于变量Y，而与前面的X无关。这意味着随机变量X,Y,Z构成一个一阶马尔可夫链。这就是说，级联信道的输入和输出变量之间构成一个马尔可夫链。 定理 4.4.2 若随机变量X,Y,Z构成一个马尔可夫链，则有 (4.40) (4.39) 以上定理就是数据处理定理。式(4.39)表明通过串联信道的传输只会丢失信息，不会增加信息，至多保持原来的消息量。也就是总体数据处理定理说明的在任何信息传输系统中，最后获得的信息至多是信源所提供的信息。如果一旦在某一过程中丢失一些信息，以后的系统不管如何处理，如不触及到丢失信息过程的输入端，就不能再恢复已丢失的信息。这也称为信息不增性原理。 定理4.4.2 虽然是在串联的单符号离散信道中证明的，对于输入和输出是随机序列的一般信道，定理4.4.2仍然成立。 4.5 信道容量 4.5.1 信道容量的定义 定义 4.5.1 信道容量定义为平均互信息的最大值 其单位是比特/符号或奈特/符号。 根据 的定义式可以知道， 的值是由信道传递概率决定的。信道传递概率矩阵描述了信道的统计特性，因此信道容量 C 仅与信道的统计特性有关，由信道传递概率矩阵决定，而与信源分布 无关。但是由于平均互信息 在数值计算上表现为输入分布 的上凸函数，所以存在一个使某一特定信道的信息量达到极大值信道容量 C 的信源。 信道容量是一个信道传输信息量的最大能力的度量。实际信道中传输的信息量必须小于信道容量，否则在传送过程中将会出现错误。 (4.42) 信息传输率：信道中平均每个符号所能传送的信息量定义为信息传输率 R (单位：比特/符号)。实际上信息传输率就是平均互信息，即 信息传输速率：如果平均传输一个符号为t秒，则信道每秒钟平均传输的信息量 (单位：比特/秒)为 信道平均传输最大信息量：若平均传输一个符号需要 t 秒，则信道在单位时间内平均传输的最大信息量 (单位：比特/秒)为 (4.43) (4.44) (4.45) 4.5.2 离散无噪信道 1、无损信道 的一个输入对应多个互不相交的输出，其信道矩阵中每一列只有一个非零元素，即信道输出端接收到Y以后必可知发送端的状态 X 。以该图为例，