第三章信道容量精要.ppt

信道，通俗地说，是指以传输媒质为基础的信号通路。具体地说，信道是指由有线或无线电线路提供的信号通路。信道的作用是传输信号。 如果信道仅是指信号的传输媒质，这种信道称为狭义信道； 如果信道不仅是传输媒质，而且包括通信系统中的一些转换装置，这种信道称为广义信道。 §3.1 信道的数学模型和分类 §3.2.1 信道容量的定义 §3.2.2 几种特殊离散信道的容量 一、离散无噪信道 1、一一对应的无噪信道 注意 对于归并性的无噪声信道,在求信道容量时,调整的仍然是输入端的概率分布 p ai . 如上例在信道容量达最大值:C log m log3时,如何来调整输入端的概率分布 p ai ?由全概率公式有: 离散无噪信道的信道容量 具有一一对应的无噪信道 输入X, 输出Y符号集的元素个数相等，设均为n X,Y有确定的对应关系 I X, Y H X H Y ; 于是有C log2n，这表明具有一一对应的确定关系的无噪信道达到信道容量，其值就是信源X的最大熵值 具有扩展性能的无噪信道 输入X符号集个数n小于输出Y符号集个数m，即n m I X, Y H X ; 于是有C log2n 具有归并性能的无噪信道 I X, Y H Y ; 于是有C log2m 强对称离散信道信道容量 强对称离散信道 每个符号的正确传递概率为p’ 1-p, 其他n-1个符号的错误传递概率为p/ n-1 输入X, 输出Y符号集的元素个数相等，设均为n X,Y有确定的对应关系 I X, Y H X H Y ; 于是有C log2n，这表明具有一一对应的确定关系的无噪信道达到信道容量，其值就是信源X的最大熵值 对称离散信道 可排列 如果一个矩阵的每一行都是同一集合 中诸元素的不同排列，则称矩阵的行是可排列的；同理，若矩阵的列满足此条件，则称矩阵的列是可排列的；若矩阵的行、列都是可排列的，则称该矩阵是可排列的 对称信道 信道矩阵是n×m可排列矩阵 一般离散信道容量 一般步骤 1。 2。 3。 4。 如图所示。实际离散信道往往是有记忆信道，为了简化起见，我们主要研究离散无记忆信道。 定义4.6 若在任意时刻信道的输出只与此时刻信道的输入有关，而与其他时刻的输入和输出无关，则称之为离散无记忆信道，简称为DMC discrete memoryless channel 。 输入、输出随机序列的长度为N的离散无记忆平稳信道通常称为离散无记忆信道的N次扩展信道。 N次扩展信道的信道矩阵是一个 的矩阵。 §3.3.2 离散无记忆信道的N次扩展信道的信道容量 对于离散无记忆N次扩展信道，当信源是平稳无记忆信源时，其平均互信息 等于单符号信道的平均互信息的N倍。 离散无记忆信道的N次扩展信道的信道容量为 因为现在输入随机序列在同一信道中传输，所以任何时刻通过离散无记忆信道传输的最大信息量都相同，即 所以 当信源也是无记忆信源并且每一时刻的输入分布各自达到最佳输入分布时，才能达到这个信道容量NC。 一般情况下，消息序列在离散无记忆N次扩展信道中传输时，其平均互信息量 3.3.3 独立并联信道 前面我们分析了单符号离散信道和离散无记忆信道的扩展信道。实际应用中常常会遇到两个或更多个信道组合在一起使用的情况。例如，待发送的消息比较多时，可能要用两个或更多个信道并行发送，这种组合信道称为并联信道；有时消息会依次地通过几个信道串联发送，例如无线电中继信道，数据处理系统，这种组合信道称为级联信道。在研究较复杂信道时，为使问题简化，往往可以将它们分解成几个简单的信道的组合。这一节我们将讨论这两种组合信道的信道容量与其组成信道的信道容量之间的关系。 一般独立并联信道如图所示。 可以把上述结论推广到N个独 立并联信道中来： 只有当每个输入随机变量的概率分布 均达到各自信道的最佳输入分布时， 独立并联信道的信道容量才等于各信 道容量之和： 当N个独立并联信道的信道容量都相同时， §3.4 网络信息理论 §3.4.2 广播信道 对于一般的广播信道,很难进行处理,我们只好考虑退化的广播信道,即某些特殊情况: §3.4.3 相关信源的多用户信道 香农公式说明 当信道容量一定时，增大信道带宽，可以降低对信噪功率比的要求；反之，当信道频带较窄时，可以通过提高信噪功率比来补偿。 当信道频带无限时，其信道容量与信号功率成正比。 §3.6 信道编码定理 信道编码定理：若有一离散无记忆平稳信道，其容量为 C，输入序列长度为 L，只要待传送的信息率 R C，总可以找到一种编码，当 L 足够长时，译码差错概率Pe ε，ε为任意大于零的正数。反之，当 R C时，任何编码的 Pe 必大于零，当 L→∞，Pe→