江苏大秋学信息论复习参考.docVIP

复习参考 一、居住在某地区的女孩中有25%是大学生，在女大学生中有75%的身高在1.6米以上，而女孩中在1.6米以上的占总数的一半。假如我们得知“身高在1.6米以上的某女孩是大学生”这一消息，问获得的多少信息量? 解：设事件A：女孩是大学生； B：女孩身高在1.6米以上 根据题意，可知：P（A）=0.25 P（B）=0.50 P（B|A）=0.75 而“身高在1.6米以上的某女孩是大学生” 这一消息表明在B事件发生的条件下，A事件的发生，故其概率为P（A|B） 根据贝叶斯定律，可得： P（A|B）=P（AB）/P（B）=P（A）* P（B|A）/ P（B）=0.25*0.75/0.5=0.375 故得知“身高在1.6米以上的某女孩是大学生”这一消息获得的多少信息量为： I（A|B） = - logP（A|B）=log（8/3）=3-log3≈1.42(比特/符号) 二、某地区的人群中，10％是胖子，80％不胖不瘦，10％是瘦子。已知胖子得高血压的概率是15％，不胖不瘦者得高血压的概率是10％，瘦子得高血压的概率是5％，则“该地区的某一位高血压者是胖子”这句话包含了多少信息量。 解：设事件A：某人是胖子； B：某人是不胖不瘦 C：某人是瘦子 D：某人是高血压者 根据题意，可知：P（A）=0.1 P（B）=0.8 P（C）=0.1 P（D|A）=0.15 P（D|B）=0.1 P（D|C）=0.05 而“该地区的某一位高血压者是胖子” 这一消息表明在D事件发生的条件下，A事件的发生，故其概率为P（A|D） 根据贝叶斯定律，可得： P（D）＝P（A）* P（D|A）＋P（B）* P（D|B）＋P（C）* P（D|C）＝0.1 P（A|D）＝P（AD）/P（D）＝P（D|A）*P（A）/ P（D）＝0.15*0.1/0.1＝0.15 故得知“该地区的某一位高血压者是胖子”这一消息获得的多少信息量为： I（A|D） = - logP（A|D）=log（0.15）≈2.73 三、一阶马尔可夫信源的状态图如下所示，信源X的符号集为{0,1,2}。 ⑴求信源平稳分布后的概率分布p(0),p(1),p(2) ⑵求此信源的熵 解：⑴该信源达到平稳后，有以下关系成立： 可得 ⑵ ) 四、设有一个马尔可夫信源，它的状态集为{S1，S2，S3}，符号集为{a1，a2，a3}，以及在某状态下发出符号集的概率是（i，k=1，2，3），如图所示 （1）求图中马尔可夫信源的状态极限概率并找出符号的极限概率 （2）计算信源处在某一状态下输出符号的条件熵H(X|S=j) (j=s1，s2，s3) （3）求出马尔可夫信源熵 解：（1）该信源达到平稳后，有以下关系成立： 可得 （2） （3）（bit/符号） 五、设信源，通过一干扰信道（如下图），接收符号集为。求 ⑴和 ⑵和 解：⑴==0.881(比特/符号) 0.722(比特/符号) ⑵ 0.690(比特/符号) 0.881+0.690-0.722=0.849(比特/符号) 六、二元对称信道的传递矩阵为 （1）若P(0)=3/4，P(1)=1/4，求H（X），H（X|Y）和I（X；Y） （2）求该信道的信道容量及其最大信道容量对应的最佳输入分布 解：⑴==0.811(比特/符号) =0.75*0.6+0.25*0.4=0.55 0.75*0.4+0.25*0.6=0.45 0.992(bit/符号) 0.811+0.971-0.992=0.79 (bit/符号) =0.811-0.79=0.021(bit/符号) （2）此信道为二元对称信道，所以信道容量为 C=1-H(p)=1-H(0.6)=1-0.971=0.029(bit/符号) 当输入等概分布时达到信道容量 七、求传递矩阵为的信道的信道容量，其中 解：这是一个准对称信道，可把信道矩阵分为：， ， 故 八、信源 （1）利用霍夫曼码编成二元变长的惟一可译码，并求其 （2）利用费诺码编成二元变长的惟一可译码，并求其 解