完整word版信息论试题及答案.doc

期终练习 一、某地区的人群中，10％是胖子，80％不胖不瘦，10％是瘦子。已知胖子得高血压的概率是15％，不胖不瘦者得高血压的概率是10％，瘦子得高血压的概率是5％，则“该地区的某一位高血压者是胖子”这句话包含了多少信息量。 解：设事件A：某人是胖子； B：某人是不胖不瘦 C：某人是瘦子 D：某人是高血压者 根据题意，可知：P（A）=0.1 P（B）=0.8 P（C）=0.1 P（D|A）=0.15 P（D|B）=0.1 P（D|C）=0.05 而“该地区的某一位高血压者是胖子” 这一消息表明在D事件发生的条件下，A事件的发生，故其概率为P（A|D） 根据贝叶斯定律，可得： P（D）＝P（A）* P（D|A）＋P（B）* P（D|B）＋P（C）* P（D|C）＝0.1 P（A|D）＝P（AD）/P（D）＝P（D|A）*P（A）/ P（D）＝0.15*0.1/0.1＝0.15 故得知“该地区的某一位高血压者是胖子”这一消息获得的多少信息量为： I（A|D） = - logP（A|D）=log（0.15）≈2.73 （bit） 二、设有一个马尔可夫信源，它的状态集为{S，S，S}，符号集为{a，a，a}，以及在某312123p(a|s)（i，k=1，2状态下发出符号集的概率是，3），如图所示 ik （1）求图中马尔可夫信源的状态极限概率并找出符号的极限概率 （2）计算信源处在某一状态下输出符号的条件熵H(X|S=j) (j=s，s，s) 321H? 3）求出马尔可夫信源熵（解：（1）该信源达到平稳后，有以下关系成立： Q(E)?Q(E)?2?31Q(E)??? 1713??)Q(E?Q(E)?Q(E) 2123??24Q(E)? 可得 ?? 2117??)EQ(?Q(E)?EQ() 3122??42Q(E)??? 31?(E)Q)(?EQ()QE?7??321． 33??E)|E)p(p(a)?aQ( ii1171?i32?Q(E)p(a|Ep(a)?)? i22i7i?133?Q(E)p(a|p(a)?E)? i3i37 i?13?p(a|S)logp(a|S)?1.5（H(X|S)??bit/符号）1kk11k?13?p(a|S)logp(a|S)?（H(X|S)??1bit/符号） （2） 2kk221k?3?p(a|S)logp(a|S)|H(XS)???（0bit/符号）333kk1k?3?76//7*0?2?3/7*1?2E)?H(X|E)?2/H?7*3/Q( 符号）（3）/（比特i?i1?i0.60.4?? 三、二元对称信道的传递矩阵为??0.40.6??（1）若P(0)=3/4，P(1)=1/4，求H（X），H（X|Y）和I（X；Y） （2）求该信道的信道容量及其最大信道容量对应的最佳输入分布 2?)x)logp?(p(x?250.25log75?(X)?0.75logH?) 符号=解：⑴=比特/0.811(ii1?ip(y)?p(x)p(y|x)?p(x)p(y|x)=0.75*0.6+0.25*0.4=0.55 2211111p(y)?p(x)p(y|x)?p(x)p(y|x)?0.75*0.4+0.25*0.6=0.45 2212221H(Y)??0.55log0.55?0.45log0.45??0.992(比特/符号) H(Y|X)?p(x)H(Y|x)?p(x)H(Y|x)?0.75?H(0.6,0.4)?0.25?H(0.4,0.6)212??(0.6log0.6?0.4log0.4) 符号）/?0.971（比特)YH(|X)?()?HX)?H(Y)XH(|Y)?H(XY?H(Y ? /0.811+0.971-0.992=0.79 (比特符号) (XI(X;Y)=H(X)-H=0.811-0.79=0.021(比特/符号) （2）此信道为二元对称信道，所以信道容量为 C=1-H(p)=1-H(0.6)=1-0.971=0.029(比特/符号) 当输入等概分布时达到信道容量 ?????42?????0p?2p? p1?p? 的信道容量，其中四、求信道。?? ???0????24p?2p????? ?????2?p?2p40?? 解：这是一个准对称信道，可