[工学]信息论与编码 第二章.pptVIP

3.具有归并性能的无噪信道。这一无噪信道的信道矩阵是 这种无噪信道就是我们前面讨论过的归并性无噪信道。因为归并性无噪信道的信道矩阵 中的所有元素都是“1”或“0”。由式（2.80）可知，归并性无噪信道的噪声熵 一定等于零，即有 所以，这种归并性无噪信道的信道容量为 这表明，归并性无噪信道的信道容量 ，只取决于信道的输出符号集的符号数 ，是信道本身的特征参量。只有当输入信源 是符号数为 的等概信源时，具有一一对应确定关系的无噪信道才能达到信道容量 。 这 1.强对称离散信道的信道容量 第十一节 几种对称信道的信道容量 若单符号离散信道的输入符号集 ，输出符号集 。 每一输入符号的正确传输概率均为 ，总的错误传输概率 均匀分布在其他 个错误传输的概率上，即 个错误传输概率均为 则信道的传递特性可表示为 其信道矩阵 是 阶对称矩阵 则该信道称之为强对称离散信道。 令输入信源的概率分布为 ，运用熵函数的对称性，可对这种对称信道的噪声熵 进行简化，即 上式表明，强对称离散信道的噪声熵等于信道矩阵中任一行元素组成的熵函数，其值取决于信道总的错误传递函数概率和输入（输出）符号数。 可得强对称信道的信道容量 输出随机变量 的熵的最大值，一定是当随机变量 等概分布时达到的最大熵值，所以可以得出强对称信道的信道容量 强对称信道的几点特性 （1）当输入信源等概分布时，其输出随机变量同时呈等概分布。当输入信源 达到最大熵值时，即有 （2）当输入信源等概分布时，其后验概率 （3）当输入信源等概分布时， 特别地当强对称离散信道的传输错误概率 时，有 （4）当输入信源等概分布时，信源中的任一符号 对随机变量 提供的平均信息量 2.对称离散信道的信道容量 若离散信道的信道矩阵 中的每一行都是由同一符号集 诸元素的不同排列组成，每一列也都是由同一集合 诸元素的不同排列组成，则这种信道称之为对称离散信道。 例如 对称离散信道与强对称离散信道的区别有以下四点： （1）强对称离散信道的输入符号数 与输出符号数 相等，即 ，信道矩阵 一定是 阶方阵。而对称离散信道的输入符号数 与输入符号数 不一定相等，其信道矩阵 也不一定是方阵。 （2）强对称离散信道的信道矩阵 中，行元素集合 与列元素集合 是同一集合，即 。对称离散信道的信道矩阵 的行元素集合 与列元素集合 不一定是同一集合。 （3）强对称离散信道的信道矩阵 的每列之和与每行之和一样，均为1.对称离散信道的信道矩阵 的每列之和不一定为1. （4）强对称离散信道的信道矩阵 是一个对称矩阵，对角线上的元素均是正确传递概率 ，除此之外的所有元素均是错误传递概率 。对称离散信道的信道矩阵 不 一定是对称矩阵。 对称离散信道的信道容量 3.准对称离散信道的信道容量 若信道矩阵 的列可被划分成若干个互不相交的子集，且每个子集所组成的子阵是行列排列阵，则称此类信道称为准对称离散信道。例如 由于 ， 的行和列都具有可排列性，所有用它们作为子矩阵构成的信道矩阵 所代表的信道为准对称离散信道。 准对称离散信道的信道容量 当输入信源等概分布时，这个 阶矩阵 对应的准对称信道达到信道容量，其容量值 第十二节 可逆矩阵信道的信息容量 若单符号离散信道的输入符号集 ，输出符号集 ， 信道的转移概率为