第11讲——离散无记忆信道的容量.pptVIP

离散无记忆信道的容量 第十一讲 DMC的输入为X，X的所有事件为{0, 1, …, K-1}； DMC的噪声为Z，Z的所有事件为{0, 1, …, K-1}； DMC的输出为Y，Y的所有事件为{0, 1, …, K-1}； X与Z相互独立；Y=X+Z(modK)。 若记P(Z=z)=sz，则转移概率矩 阵为 DMC，有 问题：对有记忆信道上式是否成立？ 该结论的证明，用到互信息的 当 （信道无记忆）时，有 当 （信源无记忆）时，有 当信源和信道都是无记忆时，有 证明：假设信源无记忆，有 因此，有 例：组合信道编解码信道 考虑BSC，p=0.1,码长为3的重复码 {000,111}。经信道编解码后，输出0和1.该信道仍为BSC，p’=0.93 +3*0.92*0.1=0.972 原信道的信道容量C1=1-H(0.1)=0.531 bit/原符号 信道编解码信道的容量 C3=1-H(0.972)=0.81574bit/符号 组合信道不会增加信道容量，提高可靠性。 3.反馈信道 4.编码反馈信道 推论（N个独立信道构成的并行信道） 设每个分信道的输入空间、输出空间和转移概率分 布相应为Xn，Yn和Pn，则合成的积信道的输入、输 出空间及转移概率分布和容量分别为 和 【例】DMC的N次扩展信道 积信道 若任一单位时间可随机地选用信道1或信道2中的一个（ 两者不能同时选用）。选用信道1的概率为p1，选用信道 2的概率为p2,且p1+p2=1。组合信道的输入空间为 称此组合信道为和信道，或称作并信道。 输出空间为 ，转移概率分布为 和信道 【例】 此时和信道的转移概率矩阵为 和信道的互信息为 其中 定理 信道1和信道2的和信道的容量C满足 证明： 令 所以 解之 又 ,则 或 回代 入关系式 则 可得 推论（N个独立信道的和信道） 若各分信道的输入、输出空间、转移概率和容量分别为Xn，Yn和Pn和Cn，则和信道的信道容量为 每个信道被利用的概率为 和信道 【例】求解信道 的容量C 解 和信道 最佳分布 若将信道1的输出作为信道2的输入，信道1的输入 集就是组合信道的输入集，信道2的输出集就是组 合信道的输出集。称这样组成的信道为级联信道， 又称串行信道。 级联信道 转移概率 将信道1与信道2级联，组成级联信道，求其信道容 量和最佳输入分布。 信道1 信道2 BSC信道，C=1-H(0.2)，最佳分布为等概分布。 级联信道 级联条件下，可能以为合成信道容量为 但事实上，它并不成立。通过级联以后的转移概率趋 于两个信道转移概率的平均值 因而传信能力将减少，这与信息不增原理相一致。可 以证明，若将N个转移概率相同的BSC信道依次级联 当 ，级联信道容量 1-p 0 1 0 1 0 1 0 1 0 1 1-pt 1-pt 1-pt-1 1-pt-1 1-p pt Pt-1 p 提 示 编码器 信道 信源输出： U X Y 组合信道编解码信道 组合信道编解码信道 译码器 V * * 信道容量 信道容量 离散无记忆 Review 达到C充要条件 输入概率矢量 达到转移概率为 的DMC的容量C的充要条件为 其中， Review 定理3 对于准对称DMC信道 （1）达到信道容量的最佳输入分布为等概分布； （2）信道容量为 准对称信道的容量 最佳输入分布为等概分布 Review 准对称DMC信道 准对称信道容量计算公式 对称DMC信道 例 KSC信道 其中0p1。 称p为错误概率。 特别当K=2时，记为BSC 例 KSC信道容量 对称信道 最佳输入分布为等概分布 当输入等概时，输出分布 也为等概 信道容量 例 KSC信道容量 例 二元删除信道容量 例：二元删除信道 输入事件集为{0,1}；输出事件集为{0,2,1}；转移概率矩阵为 当q=0时，简化为BSC。 当p=0时，简化为纯删除信道。 达到信道容量时的最佳输入分 布为等概分布。 信道容量是转移概率矩阵任何 一行所对应的半平均互信息量。 它为准对称