信息论与编码(姜丹)第5章.pptVIP

2014 秋季 信息12 Inf Theory Coding-张祖平 信息论与编码 张祖平/Zhang Zuping 电子信息工程系 School of Information Science and Engineering,Central South University , zpzhang@csu.edu.cn 本章小结 作业 第三版书 P369 5.1 5.3 第二版书 5.1 5.3 * * * * * * * * * * * * * * * * * * * * * * * * * * 由上面知，所以 这说明，高斯白噪声加性信道的容量C 等于高斯白噪声信道容量 的N倍。 对于图5.12所示高斯加性信道，若噪声N是均值为零，方差为 的高斯随机变量，则只有当信源X的均值为零，方差为 的高斯随机变量时，才能达到其容量 5.7 高斯白噪声加性信道的容量 则 5.7 高斯白噪声加性信道的容量 （1）连续信源X的各时刻随机变量之间必须相互统计独立。 （2）信源中各时刻连续随机变量必须是均值为零，方差为 的高斯随机过程。 由以上分析可知，对于限时限频的高斯白噪声加性信道，要达到信道容量必须满足两个条件： 5.7 高斯白噪声加性信道的容量 香农公式 在信息传输的工程问题中，常常把单位时间内通过的最大平均交互信息量作为衡量信道传输能力的指标，用 表示 （奈特/秒） 又若高斯白噪声功率谱密度为 则高斯白白噪声加性信道的容量 也可表示为 5.7 高斯白噪声加性信道的容量 最大传输速率 相应表示为 （奈特/秒） 上面两式就是著名的香农公式，它表明，在限时T限频F的条件下，高斯白噪声加性信道的信道容量C，取决于信道的通频带宽F，观察信号的持续时间T以及信号功率 和噪声功率 之比，即信噪比 。 5.7 高斯白噪声加性信道的容量 5.8 独立并列信道的最大容量 前面我们讨论的都是高斯白噪声的情况下得到的结论，现在对高斯加性噪声不是“白噪声”的一般情况进行分析。 如图5.15所示为N个高斯加性信道，在第i个信道中，输入 与加性高斯噪声 相互统计独立。 则这N个信道称之为独立并列高斯加性信道 。在前面对高斯加性信道容量问题的讨论知，只有当随机变量 之间统计独立，且各自的均值为零，方差为 的高斯随机变量时，才能达到其最大容量。 若 5.8 独立并列信道的最大容量 一般来说，信源发出的平均功率不可能是无限的，可以限定信源 的总的平均功率为 ，这样就存在一个公共约束条件 （5.228） 因为独立并列信道的容量C在各时刻的方差不同搭配时，就会出现不同的值，所以，在已知约束条件下，用拉格郎日乘子法求条件极值。 5.8 独立并列信道的最大容量 拉格朗日求极值 首先，作辅助函数 其中， 为待定系数。对其求偏导，并置之为零，得N个稳定点方程 5.8 独立并列信道的最大容量 有 代入公共性约束条件式（5.228） ，得 （5.231） 即 （5.233） 常数 5.8 独立并列信道的最大容量 然后，把（5.233）代入（5.231）式，得 再将其代入到前面信道容量C的计算公式中，便可求得 即 （5.235) 5.8 独立并列信道的最大容量 噪声总功率 信源平均功率 各时刻噪声平均功率 5.8 独立并列信道的最大容量 这表明，N个独立并列加性信道的容量C的最大值 取决于三个因素：噪声总功率，信源平均功率，各时刻噪声平均功率。 因此，我们知道，它的信道容量 同样取决于信道自身的特征。 再来考虑计算过程中的 ，由式（2.235）知道， 有可能出现负值，现在来看看去除那些负值的过程。 5.8 独立并列信道的最大容量 我们假定有M个 是负值，则将其去除，即令这M个平均功率 。为了遵守输入平均功率限定为 的公共约束条件，把平均功率 重新分配到剩下的（N-M）个独立并列信道的输入端，即有 （5.237） 5.8 独立并列信道的最大容量 将其代入式（2.236），得N-M个独立并列信道的容量最大值 再来验证下其是否符合平均分配条件，将（5.237）式代入公共性限制条件，有 5.8 独立并列信道的最大容量