信息论编码习题及详解练习2009.docVIP

练习一： 1、设离散无记忆信源。其发出的消息为（212 100 101 212 000 011 121 010）。求（1）此消息的自信息。（2）此消息中平均每个符号所携带的信息量。 解： （1）自信息 比特 （2）平均每个符号所携带的信息量 I24 = I/N=38/24=1.583比特/符号 2、设一离散信源X，p(x1)=1/2，p(x3)= p(x2)=1/4，p(x3)=1/2。通过信道传输，已知条件概率如右表所列。计算H(X)和I(X,Y) 解： 且所以 则输出的概率分布为： 3、若有一个准对称信道，其信道转移矩阵为： 试求信道容量。（log3=1.5850） 解：由于信道为对称信道，当输出为等概率分布时达到信道容量。 则 练习二： 1、设一离散信源X，p(x1)=1/4，p(x2)=3/4。通过信道传输， 已知信道的概率转移矩阵如右所列。求（1）H(X)和I(X,Y)。（2）该信道的信道容量。（15分） 解：(1) (2) 该信道为对称信道,当输入输出均为等概率时,达到信道容量. 2、一个离散无记忆信源输出符号等概率，失真函数如右所示： 求（1）Dmin和Dmax。（2）信息率失真函数R（D）。 解：（1）