第四章信道与信道容量.pptVIP

§4.3:离散无记忆信道及其信道容量-6离散无记忆信道的信道容量定理理解在这种分布下，每个概率0的字母提供的互信息＝C，每个概率＝0的字母提供的互信息≤C当且仅当这种分布时，可使I(p,Q)达到最大值CI(X,Y)是I(x=ak;Y)的平均值。即：想提高I(X,Y)，可以提高p(ak)但提高p(ak)，又使I(x=ak;Y)降低反复调整p(ak)，使I(x=ak;Y)相等且都等于C此时I(X,Y)＝C定理只给出了可使I(X,Y)＝C的p(x)的充要条件，并无具体分布及C的值，但可以帮助求解简单情况部分信道的C第30页，共68页，星期日，2025年，2月5日§4.3:离散无记忆信道及其信道容量-7对称的离散无记忆信道信道容量对称的离散无记忆信道输出字母的集合可以划分为若干子集，对每个子集有：矩阵中的每一行都是第一行的重排列；矩阵中的每一列都是第一列的重排列。定理5.2：对于对称的离散无记忆信道，当信道输入字母为等概率分布时达到信道容量。第31页，共68页，星期日，2025年，2月5日§4.3:离散无记忆信道及其信道容量-8对称信道第32页，共68页，星期日，2025年，2月5日§4.3:离散无记忆信道及其信道容量-9a1a2b1b2b30。70。10。10。20。7a1a2b1b2b30。20。70。70。10。10。2第33页，共68页，星期日，2025年，2月5日§4.3:离散无记忆信道及其信道容量-10BSC信道信道容量的计算a1a2b1b21-ε1-εεε第34页，共68页，星期日，2025年，2月5日§4.3:离散无记忆信道及其信道容量-11由定理5.2，当输入等概分布时，互信息达到信道容量即：p(a1)=p(a2)=1/2；有：于是：这里：应用举例3.2(18)、3.6(23)第35页，共68页，星期日，2025年，2月5日§4.3:离散无记忆信道及其信道容量-12二元删除信道信道容量的计算a1a2b1b21-ε1-εεεb3第36页，共68页，星期日，2025年，2月5日§4.3:离散无记忆信道及其信道容量-13由定理5.2，当输入等概分布时，互信息达到信道容量即：p(a1)=p(a2)=1/2；有：于是：第37页，共68页，星期日，2025年，2月5日§4.3:离散无记忆信道及其信道容量-140.51.000.51.0cεbaCa=Cb=a:BSC信道的信道容量曲线b:二进制删除信道的信道容量曲线第38页，共68页，星期日，2025年，2月5日求对称信道离散矩阵P的信道的容量1/21/31/6P=1/61/21/31/31/61/2?C=logs-H(p1,p2,p3)=log3-H(1/2,1/3,1/6)=log3+1/2log1/2+1/3log1/3+1/6log1/6=1.126bit/s结果表明:只有输入等概率分布,信道容量达到最大,平均每个符号传输最大信息量为1.126比特第39页，共68页，星期日，2025年，2月5日1无损信道一个输入对多个互不相交的输出,因为损失熵H(X/Y)=0故I(X,Y)=H(X)C=logrr为输入个数2确定信道一个输出对多个互不相交的输入,因为噪声熵H(Y/X)=0故I(X,Y)=H(Y)C=logss为输出个数3无损确定信道一个输入对一个输出,因为损失熵H(X/Y)=0噪声熵H(Y/X)=0故I(X,Y)=H(X)=H(Y)C=logrr为输入个数离散无噪信道第40页，共68页，星期日，2025年，2月5日§4.3:离散无记忆信道及其信道容量-15香农第一定理（变长无失真信源编码定理）的物理意义（达到极限时等号成立）从信道的角度看，信道的信息传输率