信息论与编码第四章信道及信道容量.ppt

第四章：信道及信道容量 三、离散多符号信道及其信道容量 2. 离散多符号信道的信道容量 由定理4.4，输入、输出序列长为N的离散无记忆信道 当信源无记忆，同时输入序列中的每一个随机变量的分布各自达到最佳输入分布时，N次扩展信道达到信道容量NC。 第四章：信道及信道容量 四、组合信道及其信道容量 1. 独立并联信道 信道模型 X1 Y1 P(Y1|X1) X2 Y2 P(Y2|X2) XN YN P(YN|XN) 第四章：信道及信道容量 四、组合信道及其信道容量 1. 独立并联信道（续1） 级联信道的总的信道矩阵等于这两个串联信道的信道矩阵的乘积。 第四章：信道及信道容量 四、组合信道及其信道容量 2. 级联信道 例 4.9 设有两个离散二元对称信道，其级联信道如图所示，求级联信道的信道容量。 第四章：信道及信道容量 四、组合信道及其信道容量 2. 级联信道（续1） 第四章：信道及信道容量 四、组合信道及其信道容量 2. 级联信道（续2） 第四章：信道及信道容量 五、连续信道及其信道容量 1. 连续随机变量的互信息 连续随机变量集合X和Y之间的平均互信息定义为: 连续随机变量的平均互信息的主要性质如下： 1．对称性： 2．非负性： 例4.10 设 p(xy) 是二维高斯随机变量XY的概率密度函数 = 求平均互信息。 第四章：信道及信道容量 五、连续信道及其信道容量 1. 连续随机变量的互信息（续1） 奈特/自由度 第四章：信道及信道容量 五、连续信道及其信道容量 1. 连续随机变量的互信息（续2） 第四章：信道及信道容量 五、连续信道及其信道容量 2. 加性噪声信道的信道容量 加性高斯噪声信道 第四章：信道及信道容量 五、连续信道及其信道容量 2. 加性噪声信道的信道容量 （续1） 第四章：信道及信道容量 五、连续信道及其信道容量 3.多维加性高斯信道的信道容量 比特 / n自由度 第四章：信道及信道容量 六、波形信道及其信道容量 1.波形信道的信道容量 n=2BT 第四章：信道及信道容量 1.波形信道的信道容量 （续1） 六、波形信道及其信道容量 例：模拟电话通信中，一般电话信号的带宽3300HZ， 若信噪比为20dB（即 ），求模拟电话信道的信道容量。 比特/秒 第四章：信道及信道容量 1.波形信道的信道容量 （续2） 六、波形信道及其信道容量 对于香农公式的几点讨论： ① 带宽一定 ② 信噪比一定 ③ 保持信道的信息传输率 第四章：信道及信道容量 1.波形信道的信道容量 （续3） 六、波形信道及其信道容量 例：若想保持信道的信息传输率 C=12 ╳ 103 bit/s，当信道的带宽B从 4 ╳ 103HZ 减小到 3 ╳ 103 HZ，分别求出所需要的信噪比。 第四章：信道及信道容量 1.波形信道的信道容量 （续4） 六、波形信道及其信道容量 例4.5：求以下信道的信道容量。 信道矩阵 第四章：信道及信道容量 二、离散单符号信道及其信道容量 5. 一般离散信道的信道容量（续6） 解： 比特/符号 第四章：信道及信道容量 二、离散单符号信道及其信道容量 5. 一般离散信道的信道容量（续7） 第四章：信道及信道容量 二、离散单符号信道及其信道容量 5. 一般离散信道的信道容量（续8） 例： 有一信道矩阵 ，求C. 第四章：信道及信道容量 二、离散单符号信道及其信道容量 5. 一般离散信道的信道容量（续9） 1）采用上述方法求出信道容量以后，还必须解出 ，因为在采用拉格朗日数乘法时并没有加上 的约束条件，因此算出的 可能是负值。 当计算结果为负值时，此解无效。它表明最大值在边界上，即某些输入符号的概率为0。设某些输入符号的概率为0，然后重新进行计算。 2）如果r=2，则可以直接对I(X;Y)求导，得到信道容量和最佳输入分布。 补充： 第四章：信道及信道容量 二、离散单符号信道及其信道容量 5. 一般离散信道的信道容量（续10） 例4.4：已知信道的转移矩阵为 ，求信道容量。 解：设输入概率分布 第四章：信道及信道容量 二、离散单符号信道及其信道容量 5. 一般离散信道的信道容量（续11） 第四章：信道及信道容量 二、离散单符号信道及其信道容量 5. 一般离散信道的信道容量（续12） 例：信道及它的输入、输出如图所示： （1）??? 求最佳输入分布。 （2）??? 求 时的信道容量。 第四章：信道及信道容量 二、离散单符号信道及其信道容量 5. 一般离散信道的信道容