信息论 第三章.pptVIP

结论： （2）当输入符号 相互独立，且 的概率分布达到各信道容量的最佳输入分布时， 根据定理3.5 （1）独立并联信道的信道容量不大于各个信道容量之和。 3.8 串联信道的互信息和数据处理定理 3.8.1 串联信道数学模型 3.8.2 串联信道平均互信息 3.8.3 一般通信系统模型 3.8.1 串联信道数学模型 （1）电视卫星转播 电视台 卫星 电视接收台 二个信道的串联 信道 信道 （2）对接收信号进行数据处理 卫星测得数据 转换成脉冲 判决器 地面接收站 （0、1二元码） （0、1二元码） （0、1码）信道 信道 1、串联信道举例 2、串联信道模型 X Z Y 总信道 X Y 证明： 即 3、马尔可夫链串联信道 定义：满足条件 , 称这两个信道的输入和输出X，Y，Z 序列构成马尔可夫链。 且 3.8.2 串联信道平均互信息 1、定理3.7 联合变量XY与变量Z之间的平均互信息不小于变量Y与Z之间的平均互信息。 当且仅当 时 实际的串联信道，往往满足马尔可夫链条件。因此由Z获得的关于Y的信息量即相同于由Z获得的关于XY的联合信息量。 2、定理3.8 — 数据处理定理 定理3.8和推论表明通过串联信道传输只会丢失更多的信息。 若X、Y、Z组成一个马尔可夫链，则有 取等号条件 推论： 表明串联第二个信道传输信息后不会增加信息的损失。 结论：若第二个信道是数据处理系统，一般只会增加信息的损失，最多保持原来获得的信息，不可能比原来获得的信息有所增加。 需要 第二个信道是无噪无损信道 当满足条件 时 则 要满足条件 3、一系列串联信道的信道容量 在任何信道传输系统中，最后获得的信息至多是信源所提供的信息。如果一旦在某一过程中丢失一些信息，以后的系统不管如何处理，都不能再恢复已丢失的信息。称做信息不增性原理。 X 信道Ⅰ 信道Ⅱ 信道Ⅲ Y W… Z 串连信道的信道容量： 串接的无源数据处理信道越多，其信道容量可能会越小。当串接信道数无限大时，信道容量可能趋于零。 (2)两个二元对称信道串联 解： 例3.13 (1)信源输出符号概率 由图3.31： 当串联级数n增加时，损失的信息增加 由于实际信道中错误概率p很小， 若干次串接后信道容量的减少并不明显。 3.8.3 一般通信系统模型 信源 信道 信宿 译码 编码 即 则 为了获得更有用的和更有效的信息，还是需要进行适当的信息处理。 3.9 信源与信道的匹配 1、信源与信道匹配 指信源与信道连接时，信息传输率达到了信道容量。 2、信道剩余度 信道剩余度 信道相对剩余度 = 信源剩余度 无损信道 信源剩余度 3、对于无损信道，追求减少信源剩余度 —— 通过信源编码，使信道的信息传输率R 接近或等于信道容量。 * 定理3.2 平均互信息 是信道传递概 率 的 型凸函数. 例3.4 续 固定 时， 是 p的 型凸函数. 当信源固定后，选择不同的信道来传输同一信源符号时，在信道的输出端获得关于信源的信息量是不同的。 1.0 0.5 0 P I(X;Y) 固定信源 H(?) 3.4 信道容量及其一般计算方法 3.4.1 离散无噪信道的信道容量 3.4.2 对称离散信道的信道容量 3.4.3 准对称信道的信道容量 信息传输率R：信道中平均每个符号所能传送的信息量。 平均互信息 ：接收到Y后，平均 每个符号获得的关于X的信息量。 符号 相应的输入概率分布称最佳输入分布. 信道容量定义： 对于一个固定信道，总存在一种信源（概率分布 ），使传输每个符号平均获得的信息量最大。这就是固定信道的最大信息传输率，定义为信道容量C。 信道容量的物理意义： 信道容量已与输入信道的概率分布无关，它只是信道传输概率的函数，只与信道的统计特性有关。所以，信道容量是能完全描述信道特性的参量,是信道能够传输的最大信息量。 如例3.4中 3.4.1 离散无噪信道的信道容量 1、无噪无损信道 2、有噪无损信道 2、有噪无损信道 I（X;Y） H（Y|X） H（X） H（Y） 2、有噪无损信道 I（X;Y） H（Y|X） H（X） H（Y） 信道特点：信道的传递矩阵中每一列有一个也仅有一个非零的元素。 3、无噪有损信道 1 1 1 1 1 1 I（X;Y） H（X|Y）