第4章 离散信道及信道容量-信息论基础及应用.docVIP

第4章 离散信道及信道容量 主要内容 ◆ 信道的数学模型和分类 ◆ 信道传输的平均互信息 ◆ 信道容量的概念及其计算方法 4.1 信道的数学模型和分类 4.1.1 信道 4.1.2 信道的分类 图4.1 一般信道的数学模型 4.1.3 离散信道的数学模型 图4.2 离散信道模型  4.1.4 单维离散信道的数学模型 图4.3 离散单符号信道模型 （1）输入和输出符号的联合概率为，则有 （对都成立） ?? 图4.4 二元对称信道 图4.5 二元删除信道 4.2 信道传输的平均互信息 4.2.1 损失熵和噪声熵 4.2.2 平均互信息 4.2.3 平均条件互信息 图4.6 三个概率空间连接关系图 ? 解：根据题意知，且。所以，输入和第一个输出符号0的联合概率为 ?比特 ?比特 4.3 平均互信息的特性 ， 出 所以 其中也是[0，1]区域上的熵  4.4.1 信道容量的定义 ?比特/秒 比特/符号 ?比特/秒 4.4.2 简单离散信道的信道容量 ?比特/符号 [P]= ?比特/符号 ?比特/符号 4.4.3 对称离散信道的信道容量 定义4.6 若信道转移矩阵中所有列都是第一列的一种排列，就称信道输出为对称的。这种信道称为输出对称离散信道。  （即）， =常数，且 和 和 ?比特/符号 4.4.4 一般离散信道的信道容量  ???????????????????????????????????? 因为当时， 由于平均互信息是输入概率分布的型凸函数，于是设，则有 移项后可得 上式对任意值都成立。于是，取，可得 （此表达式已证明） 于是可得 因为输入概率分布满足：当时，；当，即时，。所以得 故证得。 后证必要性。 假设有一输入概率分布使达到极大值，证明输入概率分布满足条件式： 设有一其他输入概率分布，因为输入概率分布使达到极大，所以有 其中。 上式除以，并取的极限，可得 对于输入概率分布，因为完备性，所以其中至少有一分量，令。 下面选择另一种输入概率分布满足 式中为任意数，为保证输入概率分布的非负性，必满足。于是，表达式可变换为 令 可得 当总取正数，得 若时，此时可取正数，也可取负数。若取正数，得 若取负数，得 故当时。 于是，可证得概率分布满足式 可见，所组成的矩阵具有和矩阵相同的特性，即在输出符号集划分的相应子矩阵内，其各行（各列）均为其他行（或列）的不同排列，故有对所有都相等，于是有 例4.7 设某离散信道如图4.14所示，输入符号集为，输出符号集为，信道转移矩阵为 C?=?0.7?比特/符号 ?比特/符号 最佳输入概率分布是。 若设输入概率分布为。同理，可得 。也可得 现令代入上式，可得 若设，信道转移矩阵是非奇异方阵，则此方程组有解，并且可以求出的数值，然后根据的附加条件求得信道容量： 比特/符号 再根据就可解出达到信道容量的最佳输入概率分布。 ????????????????? 当时，则有 4.4.5 离散无记忆信道容量的迭代算法* 图4.17 正反向试验信道 。 （） ?? 4.4.6 离散无记忆N次扩展信道及其信道容量 图4.18 离散无记忆N次扩展信道模型 4.5 串联信道和并联信道的信道容量 4.5.1 串联信道及其信道容量 图4.19 串联信道 对所有都成立 对所有x、y、z都成立 图4.21 一般的通信系统 4.5.2 并联信道及其信道容量 图4.22 并联信道 4.6 信源与信道的匹配 信道相对剩余度 （是信道输入符号的个数） 无损信道的相对剩余度 习 题 ＝，输出＝，输入 图4.24 题4.10的离散信道 102 信息论基础及应用 135 第4章 离散信道及信道容量 图4.23 题4.1的二元信道 图4.16 例4.9的离散信道 图4.15 例4.8的离散信道 图4.14 例4.7的离散信道 图4.13 无噪有损信道 图4.12 无损信道 图4.11 固定二元信源的互信息 图4.10 固定二元对称信道的互信息 图4.9 二元对称信道 图4.8 信道各类熵之间的关系 图4.7 二元无记忆信道