西安电子科技大学信息论与编码理论（专题讨论型）课件第十三章 时间离散连续信道的容量.pptVIP

平行可加高斯噪声信道容量 【例】设有10个独立并行的高斯信道，其干扰强度 分 别为0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9和1.0。求容许 输入总功率S分别为5和1时的组合信道的容量？ S=5 ,求得分别为0.95,0.85,0.75,0.65,…,0.05 (2) S=1 ,求得分别为0.4,0.3,0.2,0.1,0,0,0,0,0,0 【例】设有10个独立并行的高斯信道，其干扰强度 分 别为0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9和1.0。求容许 输入总功率S分别为5和1时的组合信道的容量？ 本节小结 （本节内容见课本125-131页） 时间离散的无记忆连续信道 — 功率受限的可加高斯噪声信道 — 功率受限的可加噪声信道 — 平行可加高斯噪声信道 时间离散连续信道的容量 第十三讲 信道容量 信道容量 Review 达到信道容量充要条件 输入概率矢量 达到转移概率为 的DMC的容量C的充要条件为 其中， Review 信道容量计算 几种特殊类型的信道 －无噪无损信道 －有噪无损信道 －无噪有损信道 准对称DMC信道 可逆矩阵信道 N次扩展信道 组合信道 最佳分布为等概 解方程、试解 NC 积信道、和信道、级联信道 Review 信道1和信道2同时传送信息 积信道 Review 最佳利用： 使每个分信道的输入相 互独立，且分布为最佳 若任一时间随机选用（两者不能同时选用） 和信道 Review 最佳利用： 并使每个分信道的输入 分布为最佳 若将信道1的输出作为信道2的输入，信道1的输入 集就是组合信道的输入集，信道2的输出集就是组 合信道的输出集。称这样组成的信道为级联信道， 又称串行信道。 级联信道 转移概率 时间离散连续信道的容量 第十四讲 无记忆信道 恒参（平稳）信道 时间离散的连续信道 信道容量 可加噪声信道 若连续信道的条件概率密度满足 就称它为可加噪声信道，其中 称作加性噪声。 X与Z相互独立 可加噪声信道容量 噪声熵 在加性噪声信道情况下，当信道 给定，即干扰噪声的概率密度 给定。那么求信道容量就在于对所有的输入分布求 的最大值。 可加噪声信道容量 【例】已知条件：给定一个可加噪声信道 （1）干扰z与信道输入x相互独立 （2） ，即 （3） ，即 求信道输入和输出之间的平均互信息？ 可加噪声信道容量 噪声熵 在加性噪声信道情况下，当信道 给定，即干扰噪声的概率密度 给定。那么求信道容量就在于对所有的输入分布求 的最大值。 可加噪声信道容量 【例】已知条件：给定一个可加噪声信道 （1）干扰z与信道输入x相互独立 （2） ，即 （3） ，即 求信道输入和输出之间的平均互信息？ 【解】由已知，信道输出y是两个正态分布的叠加，因而 ，于是信道输入输出之间的互信息量为 【注】：当信道干扰给定下，若输入功率不受限制， I(X;Y)可为任意大。 可加噪声信道容量 定理1 平均功率受限的时间离散、恒参、可加高斯噪声 信道的容量为 平均功率受限的可加噪声信道容量 其中，S是输入平均功率的上限， 是均值为0的高斯噪声的方差。最佳输入分布就是均值为0、方差为S的高斯型分布。 平均功率受限的可加噪声信道容量 证明 对可加噪声信道有 （X与Z独立） 要使I(X;Y)最大，即要 最大，从而 此时有 从而可得 要使Y正态分布， 平均功率受限的可加噪声信道容量 定理2（平均功率受限的可加非高斯噪声信道） 平均功率受限、时间离散、恒参、可加噪声信道的容量 其中， 是Z的熵功率。 在给定噪声功率情况下，高斯干扰是最坏的干扰，在它的作用下的信道容量最小。如果信道干扰统计特性未知，把干扰看作高斯分布比较安全。 【注】 证明： 在可加噪声下，信道输出功率为 输出熵为 由 可知 即上限成立。 平均功率受限的可加噪声信道容量 平均功率受限的可加噪声信道容量 熵功率不等式 对于集合X,Y,Z,若 ,且X,Z是相互独立、均值为0，则 若选择输入功率为S 的高斯信号x，由上不等式左边部分，有 从而 即下限成立。 平行可加高斯噪声信道容量 最佳分布为各个输入符号相互独立，并保证每个符号的输入分别最佳。 N个独立