西安电子科技大学信息论与编码理论（专题讨论型）课件第十一章 离散无记忆信道的容量.pptVIP

离散无记忆信道的容量 第十一讲 信道容量 信道容量 离散无记忆 Review 达到C充要条件 输入概率矢量 达到转移概率为 的DMC的容量C的充要条件为 其中， Review 信道容量计算 对于一般信道,信道容量计算相当复杂,我们 只讨论某些特殊类型的信道 几种特殊类型的信道 －无噪无损信道 －有噪无损信道 －无噪有损信道 －对称、准对称信道 Review 定理1 若DMC关于输入为对称的，则对任意k∈{0, 1, …, K-1} 准对称信道特点 证明 关于输入对称，则P的任一行是第一行的置换，即 于是 定理2 若DMC关于输出为对称的，则当输入分布等概时， 输出分布等概。 证明 关于输出对称，即任何一列是第一列的置换 设q(x)=1/K，x∈{0, 1, …, K-1}，则 准对称信道特点 根据概率归一性， 此时 ，即输出等概分布 定理3 对于准对称DMC信道 （1）达到信道容量的最佳输入分布为等概分布； （2）信道容量为 准对称信道容量特点 最佳输入分布为等概分布 准对称DMC信道 准对称信道容量计算公式 对称DMC信道 例 KSC信道 其中0p1。 称p为错误概率。 特别当K=2时，记为BSC 例 KSC信道容量 对称信道 最佳输入分布为等概分布 当输入等概时，输出分布 也为等概 信道容量 例 KSC信道容量 例 二元删除信道容量 例：二元删除信道 输入事件集为{0,1}；输出事件集为{0,2,1}；转移概率矩阵为 当q=0时，简化为BSC。 当p=0时，简化为纯删除信道。 达到信道容量时的最佳输入分 布为等概分布。 信道容量是转移概率矩阵任何 一行所对应的半平均互信息量。 它为准对称信道， 达到C的分布为等概分布，即 解： BSC(q=0) C=1-H(p) 纯删除信道(p=0) C=1-q 例 二元删除信道容量 DMC的输入为X，X的所有事件为{0, 1, …, K-1}； DMC的噪声为Z，Z的所有事件为{0, 1, …, K-1}； DMC的输出为Y，Y的所有事件为{0, 1, …, K-1}； X与Z相互独立；Y=X+Z(modK)。 例 模K加性噪声信道 求信道容量C 若记P(Z=z)=sz，则转移概率矩 阵为 例 模K加性信道容量 显然，模K加性噪声信道是对称DMC，则信道容量为 p(y|x)=P(Y=y|X=x) =P(X+Z(modK)=y|X=x) =P(x+Z(modK)=y|X=x) =P(Z=y-x(modK)|X=x) =P(Z=y-x(modK))。 假定所有输入字母的概率 ，则 由 可得 即 可逆矩阵信道容量 令 ，得 可以看成是有J个未知数 的线性方程组。由假设P是非奇异矩阵，故必有唯一解。 令 是其解，由上假设 又 ，可得 可逆矩阵信道容量 对上面得到的解进行验证。 特别注意 可逆矩阵信道容量 计算wj 计算Qk 求解方程组 验证 若 即所得到的解是正确的 否则满足条件的最大值在边界上，于是 令某个 为0， 再次进行试解。 可逆矩阵信道容量 列方程组 计算信道容量 验证 对上面得到的解进行验证。 特别注意 可逆矩阵信道容量 计算wj 计算Qk 求解方程组 验证 若 即所得到的解是正确的 否则满足条件的最大值在边界上，于是 令某个 为0， 再次进行试解。 多解 有时要令多个 为0，进行试解 特别 例 题 DMC信道的转移概率矩阵为 求其信道容量C。 非奇异矩阵 例 题 根据 列方程组 得 从而 例 题 验证 ，求得 再根据 ，得到方程组 可得 经验证 ，因此结果正确 最佳分布为 根据 N次扩展信道容量 【定理】 无记忆信道 N次扩展信道容量 证明 注：等号成立条件 无记忆信道 N次扩展信道容量 证明 注：等号成立条件 N次扩展信道容量 注：当输入字母序列中各字母统计独立时，等号成立。 由信道容量的定义知，对于任意n，有 注：若对每个n，输入分布 可使 极大 ，则有 ，从而等式成立。 N次扩展信道容量 组合信道 作 业 4.1 4.3 4.5 4.8 4.9