连续有噪信道中的熵速率和信道容量.pptVIP

* 第二章 基本信息论 §2.7 连续有噪信道中的熵速率和信道容量 §2.7 连续有噪信道中的熵速率和信道容量 一、连续有噪信道中的接收熵速率 二、连续有噪信道中的信道容量 一、连续有噪信道中的接收熵速率 1. 一般概念 信宿 信源 信道 噪声 接收熵 接收熵速率 在实际问题中，转移概率难以直接得到，而通常给出的是 噪声概率密度函数。 下面仅对一种特殊情形进行讨论。 一、连续有噪信道中的接收熵速率 2. 加性噪声 根据噪声对信道中信号的作用不同，可将噪声分为两类： (1) 加性噪声，即信号与噪声是相加的； (2) 乘性噪声，即信号与噪声是相乘的。 设 X、Y、Z 分别为信道的输入、输出及噪声随机变量， 此外，假定 X 与 Z 独立，且已知它们的概率密度函数。 对于加性噪声，则有 一、连续有噪信道中的接收熵速率 由于 且 X 与 Z 独立， y 与 z 的概率分布规律是一样的，只相差一个平移量。 即信道的转移概率密度函数等于噪声的概率密度函数。 则 记 3. 加性噪声下的转移概率 因此在 x 给定的条件下， 一、连续有噪信道中的接收熵速率 4. 加性噪声下的条件熵 一、连续有噪信道中的接收熵速率 作变量代换，令 则 即条件熵 等于噪声熵 4. 加性噪声下的条件熵 一、连续有噪信道中的接收熵速率 5. 加性噪声下的接收熵速率 在加性噪声下，有 接收熵 接收熵速率 问题 如何求 记 故 由于 且 X 与 Z 独立， (关键是要知道 Y 的概率密度函数) 二、连续有噪信道中的信道容量 1. 一般概念 信道容量 2. 加性噪声下的信道容量 (由于 X 与 Z 独立) 二、连续有噪信道中的信道容量 3. 香农公式 (1) 信道的干扰为加性高斯噪声(均值为零)，且噪声的 假定 功率受限，平均功率为 N。 (2) 输入信号的功率受限，平均功率为 P。 (3) 信道的带宽为 w。 此时，输出信号的带宽与噪声的带宽均为 w， 由于输入信号与噪声的平均功率分别为 P 和 N， 信号的带宽应小于或等于 w。 输出信号也为功率受限信号，且平均功率为 P + N。 而输入 因此 二、连续有噪信道中的信道容量 3. 香农公式 其次，由于输出信号 Y 为功率受限信号， 分析 首先，由于信道的噪声为加性(高斯)噪声， 为高斯(正态)分布时， 取得最大值。 最后，由于输出信号与噪声均为限带信号， 因此有 因此只有 Y 因此有 二、连续有噪信道中的信道容量 3. 香农公式 在带宽 w 不变时，信道容量与信噪比成正比; 当信号功率小于噪声功率时，信道仍然有传输能力。 在信道容量不变时, 信道带宽与信噪比可以相互补偿; 结果 香农公式 其中， 称为(功率)信噪比。 在信噪比不变时，信道容量与带宽 w 成正比; 表明 二、连续有噪信道中的信道容量 4. 结论 由前面的讨论已知，只有当输出信号 Y 为高斯分布时， 又由于噪声 Z 也为高斯分布，且 ， 结论 信源的最佳概率分布为高斯分布。 获得最大的接收熵速率(即信道容量)。 当输入信号 X 也为高斯分布时，才达到信道容量。 此时，称为充分利用了信道容量， 否则称为没有充分利用信道容量。 因此只有 解 香农公式 (2) 信噪比为 P / N = 7， 信道容量为 故信道容量为 (1) 信噪比为 P / N = 15，带宽为 w = 1 M Hz =106 Hz， 例 已知一个平均功率受限的连续信号，通过带宽 w = 1 M Hz 的高斯白噪声信道，试求： (1) 若信噪比为 15，信道容量为多少? (2) 若信道容量不变，信噪比降为 7，信道带宽应为多少? 故带宽应为 某连续信道及信源的带宽均为 w = 5000 Hz，信道中存在 例 (3) 若将该连续信源通过上述信道进行传递，是否充分 利用了信道容量？ 加性零均值高斯噪声。 信源的平均功率为 P = 18，噪声 (1) 求该信道的信道容量； (2) 设连续信源的概率密度函数为 的平均功率为 N = 6。 解 (1) 由香农公式 得到信道容量为 其中 求此连续信源的熵和熵功率； 解 (2) 首先，求参数 a 和 b。 即连续信源的概率密度函数为 由 解 (2) 其次，求连续信源的熵和熵功率。 熵功率 (3) 将该信源通过上述信道传递，未充分利用信道容量。 (因为信源不是高斯分布的) 思考：求该信源通过上述信道传递的接收熵速率？ 熵 熵速率