第二章信源及其信息量李伟.pptVIP

对于无扰信道，有I(X ; Y)=H(X)=H(Y)。 对于强噪信道，有H（Y︱X）= H（Y），从而I(X ; Y) = 0。 H(Y)是观察到Y所获得的信息量，H（Y︱X）是发出确定消息X后，由于干扰而使Y存在的平均不确定性， 二者之差I(X ; Y)就是一次通信所获得的信息量。 由第二等式I(X;Y)= H（Y)-H（Y︱X）看I(X;Y)的物理意义 第二十九页，共七十五页，2022年，8月28日 通信前，随机变量X和随机变量Y可视为统计独立，其先验不确定性为H(X)+ H(Y)， 通信后，整个系统的后验不确定性为H(XY)， 二者之差H(X)+ H(Y)- H(XY)就是通信过程中不确定性减少的量，也就是通信过程中获得的平均互信息量I(X ; Y)。 由第三等式I(X;Y)= H(X)+ H(Y)- H(X,Y)看I(X;Y)的物理意义 第三十页，共七十五页，2022年，8月28日 【例2.5】已知信源消息集为X={0,1},接收符号集为Y={0,1}，通过有扰信道传输，其传输特性如图所示，这是一个二进制对称信道BSC。已知先验概率 , 计算平均互信息量I( X;Y)及各种熵。 0 1-ε 0 1 1-ε