离散无记忆信道的容量.pptVIP

【例】此时和信道的转移概率矩阵为和信道的互信息为其中定理信道1和信道2的和信道的容量C满足证明：令所以解之信道容量信道容量离散无记忆Review达到C充要条件输入概率矢量达到转移概率为的DMC的容量C的充要条件为其中，Review定理3对于准对称DMC信道（1）达到信道容量的最佳输入分布为等概分布；（2）信道容量为准对称信道的容量最佳输入分布为等概分布Review准对称DMC信道准对称信道容量计算公式对称DMC信道例KSC信道其中0p1。称p为错误概率。特别当K=2时，记为BSC例KSC信道容量对称信道最佳输入分布为等概分布当输入等概时，输出分布也为等概信道容量例KSC信道容量例二元删除信道容量例：二元删除信道输入事件集为{0,1}；输出事件集为{0,2,1}；转移概率矩阵为当q=0时，简化为BSC。当p=0时，简化为纯删除信道。达到信道容量时的最佳输入分布为等概分布。信道容量是转移概率矩阵任何一行所对应的半平均互信息量。它为准对称信道，达到C的分布为等概分布，即解：BSC(q=0)C=1-H(p)纯删除信道(p=0)C=1-q例二元删除信道容量DMC的输入为X，X的所有事件为{0,1,…,K-1}；DMC的噪声为Z，Z的所有事件为{0,1,…,K-1}；DMC的输出为Y，Y的所有事件为{0,1,…,K-1}；X与Z相互独立；Y=X+Z(modK)。例模K加性噪声信道求信道容量C若记P(Z=z)=sz，则转移概率矩阵为例模K加性信道容量显然，模K加性噪声信道是对称DMC，则信道容量为p(y|x)=P(Y=y|X=x)=P(X+Z(modK)=y|X=x)=P(x+Z(modK)=y|X=x)=P(Z=y-x(modK)|X=x)=P(Z=y-x(modK))。假定所有输入字母的概率，则由可得即可逆矩阵信道容量令，得可以看成是有J个未知数的线性方程组。由假设P是非奇异矩阵，故必有唯一解。令是其解，由上假设又，可得可逆矩阵信道容量对上面得到的解进行验证。特别注意可逆矩阵信道容量计算wj计算Qk求解方程组验证若即所得到的解是正确的否则满足条件的最大值在边界上，于是令某个为0，再次进行试解。可逆矩阵信道容量列方程组计算信道容量验证对上面得到的解进行验证。特别注意可逆矩阵信道容量计算wj计算Qk求解方程组验证若即所得到的解是正确的否则满足条件的最大值在边界上，于是令某个为0，再次进行试解。多解有时要令多个为0，进行试解特别例题DMC信道的转移概率矩阵为求其信道容量C。非奇异矩阵例题根据列方程组得从而例题验证，求得再根据，得到方程组可得经验证，因此结果正确最佳分布为根据N次扩展信道容量有：【定理】：DMC无记忆信道证明注：等号成立条件无记忆信道证明注：等号成立条件注：当输入字母序列中各字母统计独立时，等号成立。由信道容量的定义知，对于任意n，有注：若对每个n，输入分布可使极大，则有，从而等式成立。DMC，有问题：对有记忆信道上式是否成立？例：模2加性噪声信道考虑满足的二元对称信道，其中表示模2加法运算，并且假设具有分布但不一定相互独立。假设Zn与输入Xn相互独立，C=1-H(p).则有：该结论的证明，用到互信息的当（信道无记忆）时，有当（信源无记忆）时，有当信源和信道都是无记忆时，有证明：假设信源无记忆，有因此，有组合信道若信道1和信道2同时传送信息，则组合信道的输入集由所有的有序对组成，