第3章_信道容量.ppt

第三章　信道容量 3.1　信道的数学模型和分类 3.2　单符号离散信道的信道容量 3.3　多符号离散信道 3.6　信道编码定理 信道概述 什么是信道？ 信道是以信号形式传输和存储信息的通道。 信息是抽象的，信道则是具体的。例如：二人对话，二人间的空气就是信道；打电话，电话线就是信道；看电视，听收音机，收、发间的空间就是信道。 空间传输：这是人们常见的情形，如电缆、光缆、空间等 时间传输：将信息保存，以后再读取出来 信道的研究内容 信道建模( 信道的统计特性描述) 信道传输信息的最大能力(信道容量) 在有噪信道中能否实现有效、可靠的传输？怎样实现？ 信道的数学模型 信道的分类 其中对于传输时间离散的信号，根据输入输出信号的幅值： 离散信道：输入、输出信号的幅值均取离散值 连续信道：输入、输出信号的幅值均取连续值 半离散(半连续)信道：输入、输出信号的幅值一个取连续值，另一个取离散值 信道的分类（续） 按输入/输出之间的记忆性来划分 无记忆信道：信道在某时刻的输出只与信道该时刻的输入有关而与信道其它时刻的输入、输出无关 有记忆信道：信道在某时刻的输出与其它时刻的输入、输出有关 根据信道的统计特性是否随时间改变可分为: 平稳信道：信道的统计特性不随时间改变，又称为恒参信道、时不变信道，如卫星通信 非平稳信道：信道的统计特性随时间改变，又称为变参信道、时变信道，如移动通信 信道的分类(续) 根据输入/输出的个数可分为： 单用户信道：一个输入一个输出的单向通信 多用户信道：双向通信或三个或更多个用户之间相互通信的情况，例如多元接入信道、广播信道、网络通信信道等 根据信道的输入端与输出端的关系: 无反馈信道：信道输出端无信号反馈到输入端 有反馈信道：信道输出端有信号反馈到输入端 根据信道的输入/输出是否是确定关系可分为: 有噪声信道 无噪声信道 3.2 单符号离散信道的信道容量 3.2.1　信道容量的定义 3.2.2　几种特殊离散信道的信道容量 离散无噪/无损信道 强对称离散信道 对称离散信道 准对称离散信道 3.2.3　离散信道容量的一般计算方法 信道转移概率矩阵 为研究方便，信道特性一般用信道转移概率矩阵(信道矩阵) 来表示 离散无记忆信道举例 二元对称信道 二元删除信道 概率计算 信道疑义度 H ( X | Y ) 信道散布度 H ( Y | X ) 平均互信息 它们都是由于噪声干扰的存在而产生的；信道中存在噪声干扰，是减低信道传信能力的基本原因 平均互信息 I ( X ; Y ) 信道容量 信息传输率 R：信道中平均每个符号传递的信息量 信道容量(续) 信道容量是信道的信息传输率 R 的上限，描述了信道通过信息的最大能力，它是假定信源理想的情况下信道传输信息能力的极值 信息传输率与输入概率和转移概率两者有关；但信道容量是信道的固有特性，只与信道的统计特性有关，因此它只与信道转移概率有关，与输入信源的概率分布无关 信道单位时间内平均传输的最大信息量： 离散无噪/无损信道 具有一一对应关系的无噪无损信道 离散无噪/无损信道(续) 具有扩展性能的无损信道(损失熵为 0) 离散无噪/无损信道(续) 具有归并性能的无噪信道(噪声熵为 0) 离散对称信道 离散输入对称信道(行对称信道) 离散对称信道(续) 离散对称信道 信道矩阵既是行可排列的，又是列可排列的 离散强对称信道 离散对称信道的信道容量 对于离散对称信道，当信道输入概率分布为等概率分布时，输出概率分布必为等概率分布 离散对称信道的信道容量(续) 对于离散对称信道，当信道输出为等概率分布时，信道达到最大的信息传输率，其信道容量为： 离散强对称信道的信道容量 对于离散强对称信道，当信道输出为等概率分布时，信道达到最大的信息传输率，其信道容量为： 离散强对称信道的信道容量仅与信道输入(出)所有可能的符号数及正确(错误)传输概率有关 离散准对称信道的信道容量 对于离散准对称信道，当信道输入为等概率分布时，信道达到最大的信息传输率，其信道容量为： 方法二：将信道矩阵划分成子矩阵进行计算 离散信道容量的一般计算方法 多符号离散信道的数学模型 如果 N 长的随机序列通过一个单符号离散信道，则信道的输出也是 N 长的随机序列 如果将 N 长的随机序列作为一个新信道(多符号离散信道)的输入与输出，则这个新信道就是原来单符号离散信道的 N 次扩展信道 N 次扩展信道的输入符号集共有 n N 个元素，输出符号集共有 m N 个元素，其信道矩阵如下所示 多符号离散信道的数学模型(续) 离散无记忆信道的 N 次扩展信道 多符号离散信道视作单符号离散信道在每一单位时间传递一个随机变量 离散无记忆信道的 N 次扩展信道的平均互信息 离散无记忆信道的 N 次扩展信道的平均互信息(续) 独立并联信道 信道的输