信道容量合并重点分析.pptx

第3章 信道容量;第3章 信道容量;第3章 信道容量;引言;引言;;第3章 信道容量;1. 信道的输入输出关系;;;有干扰信道：实际信道;实际信道;第3章 信道容量;3.3 单符号离散信道的信道容量;3.3.1 单符号信道的定义和数学模型;;实际信道矩阵举例;正方波;3.3 单符号离散信道的信道容量;如果信源熵为 ，当然希望在信道输出端接收全部的信息量。;有时更关心：单位时间内信道的极限信息传输率。;1. 选定信道，信道转移特性保持不变;问题：最大值如何计算？计算依据是什么？;;(2) 凸函数性质的具体内容;由于信源概率分布必须满足归一化条件。因此，对平均互信息量的最大值的计算就转化为在归一化条件下，计算信源概率分布的条件极值问题。;数据处理定理;条件互信息量：;数据处理定理的内容;式(a);式(a);;;;利用多次测量获取更多平均互信息量;证明：;例： 信源 的输出为;38;解：(1) 利用 和 ，得：;, , 得：;3.2 单符号离散信道的信道容量;3.2.3 几种特殊信道的信道容量;离散无噪信道的信道容量;特点：每条输入消息对应唯一的一条输出消息；或反之。;特点:;分析：对于一一对应信道， ；最佳输入分布对应？;问题：在一一对应信道中， 与 之间的关系？ ;2. 具有扩展性能的无噪信道（ ）;行：可能有多个非零元素。 列：只有1个非零元素。;问题：在扩展无噪信道中， 与 之间的关系？ ;输出是对输入的归并。 一条输出消息可能对应多条输入消息。 但一条输入消息只对应一条输出消息。;元素：非0即1。 行：只有1个1。 列：可能不止1个1。;解如下方程组：;(1);解：;解：;解如下方程组：;解：;一一对应信道 无噪无损信道;3.2.3 几种特殊信道的信道容量;输入、输出消息数相等（ 个） b. 每个输入符号正确传递概率 总错误传递概率 其它符号错误传递概率;2. 信道矩阵特点;问题：三种形式中，应用哪种进行推导比较方便？;;对强对称信道，信道容量的计算转化为求最大信宿熵。显然，当输出信号等概率分布时， 最大。但必须保证存在某种信源分布恰好使输出等概率分布。;观察上述方程组发现，当输入为等概率分布时，输出也一定为等概率分布，所以：;4. 二进制对称信道(特例);当 时： ;例3.2.1 设有扰离散信道的输入端是A, B, C, D 4个字母。该信道的正确传输概率为1/2，错误传输概率平均分布在其它三个字母上。求信道容量及最佳输入分布。;例3.2.2 有一个二元对称信道，其信道矩阵 该信道能以1500二元符号/秒的速度传输 符号。现有一消息序列共有14000个二元符号，并设P(0)=P(1)=1/2，问从消息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传递完？ ;计算步骤：;(4) ;3.2.3 几种特殊信道的信道容量;一个矩阵的每一行都是同一集合 中各元素(注：重复元素分别计)的不同排列。;;;应用平均互信息量的第二种形式：;将上式代回平均互信息量的第二种形式：;对于对称信道： (与强对称信道比较);3.2.3 几种特殊信道的信道容量;定义：一个 行 列离散信道矩阵 的行可排列，但列不可排列。但是矩阵中的 列可分成 个不相交的子集，各子集分别有 列。每个子集对应的子矩阵 具有可排列性。 ; 行可排列; 对于准对称信道，达到信道容量的最佳输入分布是等概率分布，其信道容量为：;;综合前面的几项结果：;可分解为：;比特/符号;3.2 单符号离散信道的信道容量;3.2.4 通过解方程组求信道容量; 对一般离散信道求信道容量，就是在固定信道条件下，对所有可能的输入概率分布p(xi) ，求平均互信息量的极大值。;2. 用拉格朗日乘数法求信道容量(计算过程推导);在第二章中学习过，平均互信息量有三种表示形式：;将I(X;Y)的第二种表达式代入辅助函数 ，并求导得：;接下来，对第二项求 的偏导数，可得：;接下来，对第三项求 的偏导数，结果为：;对式(a)两边乘以p(xi) ，并求和得 ：;则 ：;;(2) 根据求得的 ，由