信息论与编码a第3章信道容量.pptVIP

* 3.5 波型信道的容量 Shannon公式 单位时间的信道 容量为 PS: 输入信号的平均功率 N0W: 高斯白噪声在带宽W内的平均功率 * 3.5 波型信道的容量 信道容量与带宽的关系 Ps/N0 PS/N0 Ct 1.4427(PS/N0) * Shannon公式 香农公式是信息论中最重要的成果之一，用简洁的公式给出了带宽W，信噪比SNR= PS/ N0W与信道容量的关系，给出提高信道容量的两条途径： 在带宽W一定时，提高信噪比SNR: 当N0→0时, Ct→∞,这意味着无干扰信道容量为无穷大. 在输入功率PS一定时，增加带宽W：可以提高信道容量但不能无限制提高信道容量，因为噪声是高斯白噪声，随着W的增大，噪声功率N0W也增大，在极限情况下： 这说明即使带宽无限,信道容量仍是有限的. * Shannon限 * 4.5 Shannon限 * 4.5 Shannon公式 曲线Rb=C被称为容量边界 如果RbC，那么通信是不可靠的； 如果RbC，根据 Shannon编码定理，对于任意小的ε0，一定存在一个随机编码方案，能够提供可靠的通信使得错误概率小于ε 。 为了使Rb尽可能接近C，输入信号必须具有高斯分布的统计特性。 * 3.5 波型信道的容量 例3.5.1. 一个平均功率受限的连续信道，其通频带为1MHz，信道上存在高斯白噪声。 (1). 已知信道上的信号与噪声的平均功率比值为10，求该信道的信道容量； (2). 信道上的信号与噪声的平均功率比值降至5时，要达到相同的信道容量，信道通频带应为多大？ (3). 若信道通频带减小为0.5MHz时，要保持相同的信道容量，信道上的信号与噪声的平均功率比值应等于多大？ 解: 1) * 3.2 离散无记忆信道容量 准对称信道 准对称信道的矩阵是输入对称的 准对称信道的信道容量: 对于准对称DMC信道，输入符号等概分布时，输出符号不一定是等概分布，故满足 * 3.2 离散无记忆信道容量 准对称信道的最佳分布是等概的 设准对称信道的转移概率矩阵能够被列分割为等个对称子矩阵。 当输入符号为等概分布时，互信息量在集合上的统计平均值为 * 3.2 离散无记忆信道容量 式中是第个子矩阵中行元素之和Ns，是第个子矩阵中列元素之和Ms。从以上分析可以得出与无关，根据离散信道容量存在的充要条件，该信道的信道容量等于 * 3.2 离散无记忆信道容量 例3.2.4. 已知准对称信道的矩阵为 * 3.2 离散无记忆信道容量 二元对称删除信道 p 1-p-q 1 1 1-p-q 0 0 p E q q 二元对称删除信道是准对称信道! * 3.2 离散无记忆信道容量 二元纯删除信道 令p=0 1-q 1 1 1-q 0 0 E q q * 3.2 离散无记忆信道容量 课堂练习 已知对称信道的矩阵为 已知准对称信道的矩阵为 * 第3章 信道容量 3.1 信道基本概念 3.2 离散无记忆信道容量 3.3 组合信道的容量 3.4 连续无记忆信道的容量 3.5 波型信道的容量 * 3.3 组合信道的容量 已知两个信道 P1 =(X1, P(Y1|X1), Y1)与P2 =(X2, P(Y2|X2), Y2)相互独立,信道容量分别为C1和 C2. X1 Y1 信道1 P(Y1/X1) X2 Y2 信道2 P(Y2/X2) * 3.3 组合信道的容量 并行信道(积信道) 信道P1 与P2的并行信道定义如下： P1? P2 = (X1 ?X2, P(y1, y2 | x1, x2), Y1?Y2), 其中 P(y1, y2|x1,x2)=P(y1|x1)?P(y2|x2). 信道容量 C= C1+ C2. X1 Y1 信道1 P(y1/x1) X2 Y2 信道2 P(y2/x2) * 3.3 组合信道的容量 信道容量 而 所以 等号成立当且仅当X1与X2相互独立时 * 3.3 组合信道的容量 例3-3-1 设两个子信道皆为BSC信道，其转移概率矩阵是 信道输入为X=[X1, X2], 其中变量X1, X2?{a1, a2}，输出序列为Y=[Y1, Y2], 其中变量Y1, Y2?{b1, b2}，计算该信道的容量。 解：两个子信道相互独立，且皆为对称信道，两个子信道的容量为： X1 Y1 信道1 P(y1/x1) X2 Y2 信道2 P(y2/x2) * 3.3 组合信道的容量 例3-3-