第4章信道及信道容信息论教学课件.doc

第5章 信道及信道容量 教学内容包括：信道模型及信道分类、单符号离散信道、多符号离散信道、多用户信道及连续信道 5．1信道模型及信道分类 教学内容： 1、一般信道的数学模型 2、信道的分类 3、信道容量的定义 一般信道的数学模型 影响信道传输的因素：噪声、干扰。 噪声、干扰：非函数表述、随机性、统计依赖。 信道的全部特性：输入信号、输出信号，以及它们之间的依赖关系。 信道的一般数学模型： 信道的分类 输出随机信号 输入、输出随机变量个数 输入和输出的个数 信道上有无干扰 有无记忆特性 3、信道容量的定义 衡量一个信息传递系统的好坏，有两个主要指标： 速度指标：信息（传输）率，即信道中平均每个符号传递的信息量； 质量指标：平均差错率，即对信道输出符号进行译码的平均错误概率； 目标：速度快、错误少，即尽量大而尽量小。 信道容量：信息率能大到什么程度； 若信道平均传送一个符号所需时间为t秒，则 （bit/s） 称为信息（传输）速率。 分析： 对于给定的信道，总存在一个信源（其概率分布为），会使信道的信息率R达到最大。 （是输入概率的上凸函数，这意味着关于存在最大值） 每个给定的信道都存在一个最大的信息率，这个最大的信息率定义为该信道的信道容量，记为，即 bit/符号 （5.1.3） 信道容量也可以定义为信道的最大的信息速率，记为 （bit/s） （5.1.4） 解释： (1)信道容量是信道信息率的上限，定量描述了信道（信息的）最大通过能力； (2)使得给定信道的达到最大值（即信道容量）的输入分布，称为最佳输入（概率）分布，记为； (3)信道的与输入概率分布和转移概率分布两者有关，但信道容量是信道的固有参数，只与信道转移概率有关。 4、意义： 研究信道，其核心问题就是求信道容量和最佳输入分布。根据定义，求信道容量问题就是求平均互信息量关于输入概率分布的最大值问题。一般来说，这是一个很困难的问题，只有对一些特殊信道，如无噪信道等，才能得到解析解，对于一般信道，必须借助于数值算法。 5．2离散无噪信道的信道容量 教学内容： 1、无损信道 2、具有扩展性能的无噪信道 3、具有归并性能的无噪信道 具有一一对应关系的无损信道 此时输入X和输出Y符号集的元素个数相等； 给出信道矩阵。 噪声熵H（Y/X）=0，信道疑义度H（X/Y）=0，固有 ， 根据信道容量的定义，有 （5.2.1） 式(5.2.1)表明当信源呈等概率分布时，具有一一对应的确定关系的无噪信道达到信道容量，其值就是信源X的最大熵值。这个结果还表明，信道容量只决定于信道的输入符号数n，与信源无关，是表征信道特性的一个参量。 具有扩展性能的无噪信道 信道矩阵是 信道疑义度。 故有 。 显然其信道容量 （5.2.2） 与一一对应信道不同的是，此时输入端符号熵小于输出端符号熵，即。 具有归并性能的无噪信道 信道的噪声熵，但是信道疑义度。 相应的信道容量为 尽管式中平均互信息I（X;Y）等于输出端符号熵H(Y)，但是在求极大值时，调整的仍然是输入端的概率分布；而不能用输出端的概率分布来代替。对于图5.2.3，其信道容量是=1.585（ bit／信道符号）。那么，要达到这一信道容量，对应信源的概率分布是什么呢？由信道矩阵有 ， ， ， 只要，达到最大值，即达到信道容量C。此时使的信源概率分布存在，但不是惟一的。这种信道的输入符号熵大于输出符号熵，即。 综合以上三种无噪信道的分析，我们得出一个结论，无噪信道的信道容量C只决定于信道的输入符号数n，或输出符号数m，与信源无关，是表征信道特性的一个参量。 5．3强对称离散信道的信道容量 教学内容： 1、信道矩阵特点 2、信道容量计算 1、信道矩阵特点： 这类信道中总的错误概率是，对称平均地分配给(n-1)个输出符号。信道矩阵为(n×n)阶对称矩阵。 2、信道容量计算 其中条件熵 (5.2.4) 上式中 , 于信道的对称性，每一行都是同一集合诸元素的不同排列，所以 , 于是得信道容量 。 这就变成求一种输入分布使取最大值的问题了。现已知输出符号集共有n个符号，则。根据最大离散熵定理，只有当，即输出端呈等概率分布时，才达到最大值。 要获得这一最大值，可通过公式 寻找相应的输入概率分布。 现在观察信道矩阵，我们发现其特殊性： 信道矩阵中的每一行都是由同一集合中的诸元素的不同排列组成，所以