第二章信源及其信息量李伟.pptVIP

对于无扰信道，有I(X;Y)=H(X)=H(Y)。对于强噪信道，有H（Y︱X）=H（Y），从而I(X;Y)=0。H(Y)是观察到Y所获得的信息量，H（Y︱X）是发出确定消息X后，由于干扰而使Y存在的平均不确定性，二者之差I(X;Y)就是一次通信所获得的信息量。由第二等式I(X;Y)=H（Y)-H（Y︱X）看I(X;Y)的物理意义第29页，共75页，星期日，2025年，2月5日通信前，随机变量X和随机变量Y可视为统计独立，其先验不确定性为H(X)+H(Y)，通信后，整个系统的后验不确定性为H(XY)，二者之差H(X)+H(Y)-H(XY)就是通信过程中不确定性减少的量，也就是通信过程中获得的平均互信息量I(X;Y)。由第三等式I(X;Y)=H(X)+H(Y)-H(X,Y)看I(X;Y)的物理意义第30页，共75页，星期日，2025年，2月5日【例2.5】已知信源消息集为X={0,1},接收符号集为Y={0,1}，通过有扰信道传输，其传输特性如图所示，这是一个二进制对称信道BSC。已知先验概率,计算平均互信息量I(X;Y)及各种熵。01-ε011-ε1二进制对称信道εε记q(x)为信源输入概率； ω(y)为信宿输出概率； p(y︱x)为信道转移概率； φ(x︱y)为后验概率。第31页，共75页，星期日，2025年，2月5日（1）由图得，先算出p(xiyj)=q(xi)p(yj︱xi) （2）计算得： 第32页，共75页，星期日，2025年，2月5日（3）计算后验概率，得：（4）计算各种熵及平均互信息量：信源熵信宿熵联合熵 =-2×0.5(1-ε)log0.5(1-ε)-2×0.5εlog0.5ε=log2-(1-ε)log(1-ε)-εlogε=log2+H2(ε)式中：第33页，共75页，星期日，2025年，2月5日散布度=-p(00)logp(0︱0)-p(01)logp(1︱0)-p(10)logp(0︱1)-p(11)logp(1︱1)=-2×0.5(1-ε)log(1-ε)-2×0.5εlogε=H2(ε)可疑度=-p(00)logφ(0︱0)-p(01)logφ(0︱1)-p(10)logφ(1︱0)-p(11)logφ(1︱1)=-2×0.5(1-ε)log(1-ε)-2×0.5εlogε=H2(ε)平均互信息量I(X;Y)=H(X)+H(Y)-H(XY)=log2+H2(ε)第34页，共75页，星期日，2025年，2月5日研究通信问题，主要研究的是信源和信道，它们的统计特性可以分别用消息先验概率p(x)及信道转移概率p(y︱x)来描述，而平均互信息量I(X;Y)是经过一次通信后信宿所获得的信息。平均互信息量定义为： 上式说明I(X;Y)是信源分布概率q(x)和信道转移概率p(y︱x)的函数，下面两条定理阐明了I(X;Y)与q(x)和p(y︱x)之间的关系。⑸有关平均互信息量的两条定理第35页，共75页，星期日，2025年，2月5日定理2.1当信道给定，即信道转移概率p(y︱x)固定，平均互信息量I(X;Y)是信源概率分布q(x)的∩型凸函数。定理2.2当信源给定，即信源分布概率q(x)固定，平均互信息量I(X;Y)是信道转移概率p(y︱x)的∪型凸函数。定理2.2说明，信源固定以后，用不同的信道来传输同一信源符号时，在信道输出端获得的信息量是不同的。可见，对每一种信源一定存在一种最差的信道，此信道的干扰最大，而使输出端获得的信息量最小。定理2.1说明，信道固定时，对于不同的信源分布，信道输出端获得的信息量是不同的。因此，对于每一个固定信道，一定存在一种信源（一种分布）q(x)，