江苏大学信息论复习参考.docxVIP

复习参考 一、居住在某地区的女孩中有 25% 是大学生，在女大学生中有 75% 的身高在 1.6 米以上， 而女孩中在 1.6 米以上的占总数的一半。假如我们得知“身高在 1.6 米以上的某女孩是大学 生”这一消息，问获得的多少信息量 ? 解：设事件 A ：女孩是大学生； B ：女孩身高在 1.6 米以上 根据题意，可知： P（ A） =0.25 P（B ） =0.50 P（ B|A ） =0.75 而“身高在 1.6 米以上的某女孩是大学生” 这一消息表明在 B 事件发生的条件下， A 事件的发生，故其概率为 P（A|B ） 根据贝叶斯定律，可得： P（ A|B ） =P（AB ） /P（ B） =P（A ） * P（ B|A ） / P（ B） =0.25*0.75/0.5=0.375 故得知“身高在 1.6 米以上的某女孩是大学生”这一消息获得的多少信息量为： I（ A|B ） = - logP （ A|B ） =log （ 8/3） =3-log3 ≈ 1.42( 比特 /符号 ) 二、某地区的人群中， 10％是胖子， 80％不胖不瘦， 10％是瘦子。已知胖子得高血压的概 率是 15％，不胖不瘦者得高血压的概率是 10％，瘦子得高血压的概率是 5％，则“该地区 的某一位高血压者是胖子”这句话包含了多少信息量。 解：设事件 A ：某人是胖子； B：某人是不胖不瘦 C：某人是瘦子 D：某人是高血压者 根据题意，可知： P（ A） =0.1 P（ B） =0.8 P（C） =0.1 P（ D|A ）=0.15 P（ D|B ） =0.1 P（ D|C）=0.05 而“该地区的某一位高血压者是胖子” 这一消息表明在 D 事件发生的条件下， A 事件 的发生，故其概率为 P（ A|D ） 根据贝叶斯定律，可得： P（ D ）＝ P（ A ） * P（ D|A ）＋ P（ B） * P （D|B ）＋ P（ C） * P（ D|C）＝ 0.1 P（ A|D ）＝ P（AD ） /P（ D ）＝ P（ D|A ） *P （ A） / P（D ）＝ 0.15*0.1/0.1 ＝ 0.15 故得知“该地区的某一位高血压者是胖子”这一消息获得的多少信息量为： I （A|D ） = - logP （ A|D ）=log （ 0.15）≈ 2.73 三、一阶马尔可夫信源的状态图如下所示，信源 X 的符号集为 {0,1,2} 。 ⑴求信源平稳分布后的概率分布p(0),p(1),p(2) ⑵求此信源的熵 p p/2 p 0 p/2 1 p/2  p/2 p/2  p/2 2 p 解：⑴该信源达到平稳后，有以下关系成立： p(0) p(0) p p(1) p / 2 p(2) p / 2 p(1) p(0) p / 2 p(1) p p(2) p / 2 p(2) p(0) p / 2 p(1) p / 2 p(2) p p(0) p(1) p(2) 1 可得 p(0) p(1) p(2) 1/ 3 ⑵ H p(0) H ( X | 0) p(1) H ( X |1) p(2) H ( X | 2) 3 p(0) H ( X |0) H ( X | 0) H ( p, p , p) p log p p log p ) 2 2 2 H ( p) p 四、设有一个马尔可夫信源，它的状态集为 {S1，S2， S3 }，符号集为 {a1， a2， a3}，以及在某 状态下发出符号集的概率是 p(a | s ) （ ， k=1 ， ， ），如图所示 k i i 2 3 （ 1）求图中马尔可夫信源的状态极限概率并找出符号的极限概率 （ 2）计算信源处在某一状态下输出符号的条件熵 H(X|S=j) (j=s 1， s2， s3) （ 3）求出马尔可夫信源熵 H 解：（ 1）该信源达到平稳后，有以下关系成立： Q( E1) Q(E3 ) 2 3 Q(E1 ) 1 Q( E2 ) Q (E1) Q( E2 ) 7 3 4 2 可得 1 Q( E1 ) 1 Q( E2 ) Q (E2 ) Q( E3 ) 7 4 2 2 Q( E1) Q(E2 ) Q( E3 ) 1 Q (E3) 7 3 3 p(a1) Q(Ei ) p(a1 |Ei ) 7 i 1 3 2 p(a2 ) Q(Ei ) p(a2 |Ei ) i 1 7 3 3 p(a3 ) Q(Ei ) p(a3 |Ei ) 7 i 1 3 H ( X | S1) p( ak |S1)log p(ak | S1) （ 符号） 1.5 bit/ k 1 3 （ 符号） （ 2） p( ak |S2 )log p(ak | S2 ) 1 bit/ H ( X | S2 )