《信息论》试题及答案.docVIP

期终练习 一、某地区的人群中，10％是胖子，80％不胖不瘦，10％是瘦子。已知胖子得高血压的概率是15％，不胖不瘦者得高血压的概率是10％，瘦子得高血压的概率是5％，则“该地区的某一位高血压者是胖子”这句话包含了多少信息量。 解：设事件A：某人是胖子； B：某人是不胖不瘦 C：某人是瘦子 D：某人是高血压者 根据题意，可知：P（A）=0.1 P（B）=0.8 P（C）=0.1 P（D|A）=0.15 P（D|B）=0.1 P（D|C）=0.05 而“该地区的某一位高血压者是胖子” 这一消息表明在D事件发生的条件下，A事件的发生，故其概率为P（A|D） 根据贝叶斯定律，可得： P（D）＝P（A）* P（D|A）＋P（B）* P（D|B）＋P（C）* P（D|C）＝0.1 P（A|D）＝P（AD）/P（D）＝P（D|A）*P（A）/ P（D）＝0.15*0.1/0.1＝0.15 故得知“该地区的某一位高血压者是胖子”这一消息获得的多少信息量为： I（A|D） = - logP（A|D）=log（0.15）≈2.73 （bit） 二、设有一个马尔可夫信源，它的状态集为{S1，S2，S3}，符号集为{a1，a2，a3}，以及在某状态下发出符号集的概率是（i，k=1，2，3），如图所示 （1）求图中马尔可夫信源的状态极限概率并找出符号的极限概率 （2）计算信源处在某一状态下输出符号的条件熵H(X|S=j) (j=s1，s2，s3) （3）求出马尔可夫信源熵 解：（1）该信源达到平稳后，有以下关系成立： 可得 （2） （3）（比特/符号） 三、二元对称信道的传递矩阵为 （1）若P(0)=3/4，P(1)=1/4，求H（X），H（X|Y）和I（X；Y） （2）求该信道的信道容量及其最大信道容量对应的最佳输入分布 解：⑴==0.811(比特/符号) =0.75*0.6+0.25*0.4=0.55 0.75*0.4+0.25*0.6=0.45 0.992(比特/符号) 0.811+0.971-0.992=0.79 (比特/符号) =0.811-0.79=0.021(比特/符号) （2）此信道为二元对称信道，所以信道容量为 C=1-H(p)=1-H(0.6)=1-0.971=0.029(比特/符号) 当输入等概分布时达到信道容量 四、求信道的信道容量，其中。 解：这是一个准对称信道，可把信道矩阵分为：， ， 故 当输入等概分布时达到信道容量。 1 五、信源 （1）利用霍夫曼码编成二元变长的惟一可译码，并求其 （2）利用费诺码编成二元变长的惟一可译码，并求其 （3）利用香农码编成二元变长的惟一可译码，并求其 (1)香农编码： 信源符号 概率P(xi) 码长li 累积概率P 码字 x1 0.4 2 0 00 x2 0.2 3 0.4 011 x3 0.2 3 0.6 100 x4 0.1 4 0.8 1100 x5 0.05 5 0.9 11100 x6 0.05 5 0.95 11110 =0.4×2＋0.2×3＋0.2×3＋0.1×4＋0.05×5＋0.05×5＝2.9(码元/信源符号) η＝H(X)/( logr)=2.222/2.9=0.7662（2）霍夫曼编码： =0.4×2+0.2×2×2+0.1×3+0.05×4×2=2.3(码元/信源符号) η＝H(X)/( logr)=0.9964 (3)费诺编码： =0.4×2+0.2×2×2+0.1×3+0.05×4×2=2.3(码元/信源符号) η＝H(X)/( logr)= 0.9964 六、设有一离散信道，传递矩阵为 设P(x1)= P(x2)=1/4，P(x3)=1/2，试分别按最小错误概率准则和最大似然译码准则确定译码规则，并相应的计算机平均错误概率的大小。 解：（1）按最大似然译码准则 F(y1)=x1 F(y2)=x2 F(y3)=x3 P(E)=1/2(1/3+1/6)+1/4×2×(1/3+1/6)=1/2 联合概率矩阵为，则按最小错误概率准 F(y1)=x3 F(y2)=x2 F