信息论与编码-第三章.ppt

信息论与编码-信道与信道容量 信道容量为 若p=0.1，信道容量为C2=(2-0.938)bit/序列=1.062bit/序列 BSC单符号时信道容量为C1=1-H(0.1)=0.531bit/序列=1/2 C2 信息论与编码-信道与信道容量 3.4连续信道及其容量 在连续信源情况下，可用两个相对熵之差来表征互信息。 互信息的最大值就是信道容量。 因而，连续信道具有与离散信道类似的信息传输率和信道容量表达式。 只考虑加性噪声 信息论与编码-信道与信道容量 连续单符号加性信道 由于 I(X;Y)=h(X)-h(X|Y)=h(Y)-h(Y|X)，信道容量为 由限平均功率最大熵定理，当信道输出Y正态分布时，熵最大。 信息论与编码-信道与信道容量 设py(y)=N(0,P)，其中P为Y的平均功率限制值。 由于信道输入X与噪声统计独立，且y=x+n，所以，其功率可以相加，即P=S+σ2，S为信道输入X的平均值。 显然，若 py(y)=N(0,P)，则px(y)=N(0,S), 这时，信息传输率达到最大 式中，S/σ2是信号功率与噪声功率之比，称为信噪比，用SNR表示 信道容量仅取决于信道的信噪比。 信息论与编码-信道与信道容量 对于均值为零、平均功率为σ2的非高斯噪声，其信道容量为 上式说明在同样平均功率受限的情况下，非高斯噪声信道的容量要大于高斯噪声信道的容量 因此，在实际处理问题时，通常采用计算高斯噪声信道的容量的方法保守地估计容量，且高斯噪声信道的容量容易计算。 信息论与编码-信道与信道容量 多维无记忆加性连续信道 无记忆 加性随机噪声统计独立 可以等价为L个独立的并联高斯加性信道 信息论与编码-信道与信道容量 X=(x1,x2,…,xL) n=(n1,n2,…,nL) y=(y1,y2,…,yL) 加性信道 x1 n1 y1= x1 +n1 xL nL yL= xL +nL … … … * 3.4 连续信道及其容量 连续单符多维无记忆高斯加性信道就可等价成L个独立的并联高斯加性信道号加性信道 比特/L维自由度 因此当且仅当输入随机矢量X中各分量统计独立，且是均值为零、方差为Pl的高斯变量时，才能达到此信道容量 * 3.4 连续信道及其容量 均值为零、方差相同 均值为零、方差不同，总平均功率受限 ：在总输入功率不变的情况下，合理分配输入功率，使得信道容量最大。 * 3.4 连续信道及其容量 各个时刻的信道输出功率相等设为常数? * 3.4 连续信道及其容量 注水原理：(water-filling) 各个子信道的功率合理分配，使得信道容量最大。 各个时刻的信道输出功率（信号功率+噪声功率）是相等的 当噪声功率大时，减小信号功率，甚至使信号功率为零；当噪声功率小时，增大信号功率； 例3-10 信息论与编码-信道与信道容量 限时限频限功率的加性高斯白噪声信道 波形信道除了输入输出信号的取值是连续的，而且还随时间连续变化。但是，对于频带受限的波形信道，可以用抽样的方法变成时间离散信道。设带宽为W，则在tB时间间隔内，根据抽样定理，应该抽样至少2WtB个点，分别记为输入 和输出 以及噪声 ，并且有 。如果噪声是高斯白噪声，则该信道称为高斯白噪声加性信道（AWGN），其中每一个 都是一个随机变量。 信息论与编码-信道与信道容量 如果这些随机变量统计无关，则 信道容量 * 3.4 连续信道及其容量 限时限频限功率加性高斯白噪声信道 限时：tB,限频|f|=W，高斯噪声过程可分解为L维统计独立的随机序列，在[0，tB]内，L=WtB 多维无记忆加性高斯信道： 式中， 是每个噪声分量的功率， 是每个信号样本值的平均功率，设信号的平均功率受限于Ps, 则 * 3.4 连续信道及其容量 限时限频限功率加性高斯白噪声信道 信道的容量 单位时间的信道容量 香农公式 Ct ＝W log(1+SNR) 比特/秒 输入信号{x(t)}满足均值为零、平均功率Ps的高斯白噪声的特性 信息论与编码-信道与信道容量 另一种算法：如果信号 是平均功率受限的，即 于是有 则 信息论与编码-信道与信道容量 这就是著名的香农公式，在通信原理里面经常要用到，它是带限AWGN波形信道在平均功率受限条件下信道容量的基本公式。 根据香农公式，可以得到以下一些结果或结论： （1）利用关系式 ，可得 信息论与编码-信道与信道容量 （2）归一化信道容量 所谓归一化信道容量，就是平均单位带宽的信