第三离散信道及其信道容量.pptVIP

定理3.2平均互信息I(X;Y)信道传递概率P(y|x)的U型凸函数（又称下凸函数）。这就是说，对于一个已知先验概率为P(X)的离散信源，总可以找到某一个转移概率分布的信道，使平均互信息量达到相应的最小值Imin。可以说不同的信源先验概率对应不同的Imin。或者说Imin是P(X)的函数。即平均互信息量的最小值体现了信源本身的特性。因此，当信源固定后，选择不同的信道来传输同一信源符号时，在信道的输出端获得关于信源的信息量是不同的。对每一种信源都存在一种最差的信道，此信道的干扰（噪声）最大，而输出端获得的信息量最小。第三节平均互信息的特性第31页，共65页，星期日，2025年，2月5日第四节信道容量及其一般计算方法第32页，共65页，星期日，2025年，2月5日我们研究信道的目的是要讨论信道中平均每个符号所能传送的信息量，即信道的信息传输率R。信道的信息传输率就是平均互信息I(X;Y)，即R=I(X;Y)=H(X)-H(X|Y)传输效率，与时间无关有时我们所关心的是信道在单位时间内平均传输的信息量，若平均传输一个符号需要t秒钟，则信道每秒钟平均传输的信息量为Rt=I(X;Y)/t=H(X)/t-H(X/Y)/t一般称此为信息传输速率，单位为比特/秒或奈特/秒。第四节信道容量及其一般计算方法第33页，共65页，星期日，2025年，2月5日第四节信道容量及其一般计算方法对于一个固定的信道，总存在一种信源（概率分布为P(x)），使传输每个符号平均获得的信息量最大，定义这个最大的信息传输率为信道容量C，单位是比特/符号，即信道单位时间内平均传输的最大的信息量为一般仍称Ct为信道容量，单位是比特/秒。信道容量是完全描述信道特性的参量，是信道能够传输的最大信息量。第34页，共65页，星期日，2025年，2月5日例：对于二元对称信道，信源分布X={ω,1-ω}。其平均互信息为：01-p0pp11-p1当ω=1/2时，存在极大值I(X;Y)=H(1/2)-H(p)=1-H(p)因此二元对称信道的信道容量为C=1-H(p)可见，信道容量只是信道传输概率p的函数，而与输入符号X的概率分布ω无关。I(X;Y)ω1/21-H(P)Cp1/2第四节信道容量及其一般计算方法第35页，共65页，星期日，2025年，2月5日1、离散信道的信道容量（1）具有一一对应关系的无噪声信道x1y1x2y2x3y3此时由于信道完全可靠，其损失熵和疑义度都等于0，所以I(X;Y)=H(X)=H(Y)根据极值性，C=logr=logs第四节信道容量及其一般计算方法信道矩阵第36页，共65页，星期日，2025年，2月5日(2)无损信道（具有扩展性能）此时信道疑义度（损失熵）为0，而信道噪声熵不为0，从而C=max{I(X;Y)}=max{H(X)-H(X|Y)}=max{H(X)}=logr信道矩阵中每一列有且只有一个非零元素时，这个信道一定是有噪无损信道。因后向概率P(x|y)等于0或1，接收到符号Y后对发送的X符号是完全确定的。第四节信道容量及其一般计算方法x2x1y3y4y5y1y2x3y6第37页，共65页，星期日，2025年，2月5日(3)无噪有损信道（确定信道）（具有归并性能）x1x2x3x4x5y1y2在这类信道中接收到符号Y后不能完全消除对X的不确定性，信息有损失。但输出端Y的平均不确定性因噪声熵等于0而没有增加。因前向概率P(y|x)等于0或1，此时信道疑义度（损失熵）不为0，而信道噪声熵为0，从而C=max{I(X;Y)}=max{H(Y)-H(Y|X)}=max{H(Y)}=logs第四节信道容量及其一般计算方法第38页，共65页，星期日，2025年，2月5日用维拉图表示各类熵之间的关系：第四节信道容量