应用信息论第二章.pdfVIP

第2 章习题 2-3 同时掷两个正常的骰子，也就是各面呈现的概率都是l/6，求： (1) “3 和5 同时出现”事件的自信息量； (2) “两个1 同时出现”事件的自信息量； (3)两个点数的各种组合（无序对）的熵或平均信息量； (4) 两个点数之和(即 2 ，3，„，12 构成的子集）的熵； (5)两个点数中至少有一个是1 的自信息。 解：（1）P （3、5 或5、3）＝P （3、5）+P （5、3）＝1/18 I ＝log2 （18）＝ 4.1699bit 。 （2 ）P （1、1）＝l/36 。I ＝log2 （36 ）＝5.1699bit 。 （3 ）相同点出现时（11、22 、33、44 、55、66 ）有6 种，概率1/36。 不同点出现时有15 种，概率1/18。 H （i，j ）＝6*1/36*log2 （36 ）+15*1/18*log2 （18）＝4.3366bit/事件。 （4 ） i+j 2 3 4 5 6 7 8 9 10 11 12 P(i+j) 1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36 H(i+j)=H(1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36) =3.2744bit/事件。 （5 ）P （1、1or1、j or i 、1）＝1/36+5/36+5/36＝11/36。 I ＝log2 （36/11 ）＝1.7105bit/ 2-5 居住某地区的女孩中有25 ％是大学生，在女大学生中有75 ％身高为1.6m 以 上，而女孩中身高1.6m 以上的占总数一半。假如得知“身高1.6m 以上的某女孩是大学 生”的消息，问获得多少信息量？、 解：P （女大学生）＝1/4；P （身高1.6m / 女大学生）=3/4 ；P （身高1.6m）＝1/2； P （女大学生/ 身高1.6m）＝P （身高1.6m、女大学生）/P （身高1.6m ） ＝3/4*1/4*2 ＝3/8 I ＝log2 （8/3 ）＝1.4150bit 。 2-7 两个实验X {x ,x ,x }和Y {y , y , y } ，联合概率p (x y ) p 为 1 2 3 1 2 3 i j ij p 11 p 12 p 13  7 / 24 1/ 24 0      p 21 p 22 p 23  1/ 24 1/ 4 1/ 24 p 31 p 32 p 33   0 1/ 24 7 / 24     （1）如果有人告诉你 和 的实验结果，你得到的平均信息量是多少？ X Y （2 ）如果有人告诉你 的实验结果，你得到的平均信息量是多少？ Y （3 ）在已知 的实验结果的情况下，告诉你 的实验结果，你得到的平均信息量是多少？ Y X 解： Y P(x,y) .x y1 y2 y3 x1 7/24 1/24 0 1/3