(信息科学基础讲义三卷16-27.docVIP

周次：第16次 时间：2007年11月6日 章节： 第4章 离散信道及其容量 P98～103 作业： 4.31，4.38 提纲： 五、串联信道和数据处理定理 1、串联信道的数学模型 2、串联信道的信道容量 3、数据处理定理 好，咱们开始吧。诸位同学，大家上午好！咱们这次课讲本章最后一个问题串联信道和数据处理定理，在开始新的内容之前，按照惯例咱们先把上次课的内容复习一下。上次课的内容是第4章的两个问题，多符号离散信道和独立并联信道的容量。 大家需要掌握的问题有这样几个。 1、多符号离散信道的数学模型是什么？ 2、多符号无记忆信道的信道转移概率与单符号信道转移概率的关系是？ 3、分三种情况：信源无记忆、信道无记忆和信源/信道都无记忆，说明多符号平均互信息量与单符号平均互信息量之间的关系是什么？ 4、离散无记忆次扩展信道的容量是多少？ 5、独立并联信道的数学模型是什么？ 6、独立并联信道的容量是多少？ 好，这些问题都是上次课的重点内容，希望大家能够掌握。咱们开始今天的内容。上次课程我们在单符号离散信道的基础上介绍了两种更复杂的信道：多符号离散信道和独立并联信道。这次课程我们继续介绍另一种比较复杂的情况：串联信道。 上次课讲的并联信道和这次课讲的串联信道其实都属于信道组合的问题。信道组合在通信工程中有很多实际的应用价值，如果待发送的消息比较多时，可能会用到两个或多个信道并行传输，这就是并联信道。你可以把计算机的外部存储设备和计算机主板之间连接的数据线（IDE数据线）看成是若干个BSC信道的并联。有时信息在远距离通信时需要中继，这种情况可以看成是信道串联。比如，传播电视信号的电视塔或者卫星和地面站形成的覆盖全球的通信网络。我们已经讨论了独立并联信道的情况。这次课我们讨论第二种信道组合——串联信道。 我们首先考察一下串联信道的数学模型。串联信道的数学模型可以用下面的图示描述，整个信道是由第Ⅰ级信道和第Ⅱ级信道串联起来的。信道Ⅰ的特征是条件概率，信道Ⅱ的特征是条件概率。 串联后总的信道特征仍然是一个条件概率，这个条件概率是、还是？应该是条件概率。当然条件概率称为串联信的信道转移概率。问题是串联后总的条件概率与串联的两级信道的转移概率之间有什么关系？ 可以看出串联后信道的转移矩阵是被串联的两级信道转移矩阵的乘积。问题是通常我们只知道第二级信道的转移概率，如果，那么我们讨论的问题就得到简化了。我们要讨论的串联信道正是这类特殊的串联信道，X、Y、Z构成马氏链。也就是信道Ⅱ的转移概率满足条件：，它的含义是信道Ⅱ的输出Z只与它的当前输入Y有关，与更以前的输入X没有关系，就是马尔可夫过程的后无效性。我们通常把时间离散的马尔可夫过程称为马尔可夫链或马氏链。这样串联信道的转移矩阵就是两个独立信道的转移矩阵的乘积：。 下面我们先研究一下串联信道中平均互信息量的一些定理，以这个为基础再来讨论串联信道的容量问题。 定理1：当且仅当时等号成立。 含义：一般情况下X、Y联合关于Z的信息量大于等于Y关于Z信息量，只有在X、Y、Z构成马氏链时，X、Y联合关于Z的信息量等于Y关于Z信息量，这正反映了后无效性的特点。 证明： 定理说明，当X、Y、Z构成马氏链时，X、Y联合关于Z的信息量等于Y关于Z信息量，这正反映了马氏链的后无效性的特点。 对于串联信道三个平均互信息量、、之间又有什么关系呢？ 定理2：如果X、Y、Z构成马氏链，则有 含义：当X、Y、Z构成马氏链时，经过第Ⅰ级信道的信息量和经过第Ⅱ级信道的信息量要大于等于经过串联后整体的信息量。通过整个串联信道的信息量一般要比经过每一级信道的信息量要小，最多保持相等。 证明： 同理可得： （请学生给出证明过程） 证明： 如果把定理2推广到个信道串联的情况，则有下面的结论。 推论：个信道串联构成马氏链，则有： 含义：个信道串联构成马氏链时，串联的信道越多经过整个信道的信息量可能越小，最多只能和原来一样多。这就是信息不增原理。 证明：略。 下面我们来讨论信道容量。信道容量的定义仍然是平均互信息量的最大值。因此有： 因为： 所以： 这说明串联的信道数量越多，串联后总的信道容量可能越小。如果串联的是无干扰信道，串联后的信道容量不减小。如果串联的是有干扰信道，串联信道的数量很大时，信道容量趋于零。 例1：计算两个BSC信道串联后的信道容量。 串联 信道转移矩阵 信道容量 I I,II 从上面的n级BSC信道串联的平均互信息量图可以看出，当错误概率很小时，例如，计算串联后的平均互信息量减小的非常小。所以，串联级数n足够大时，串联信道的信道容量虽然减小，但仍有一定的数量。而实际数字通信网中，BSC信道的错误概率一般在以下，所以若干次串联后信道容量的减小并不明显。但是当比较大时，例如，