信息论 基础理论与应用课后答案 全.pdfVIP

第二章课后习题 【2.1 】设有12 枚同值硬币，其中有一枚为假币。但只知道假币的重量与真币的重量不 同，但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量。为了在天平上称 出哪一枚是假币，试问至少必须称多少次？解：从信息论的角度看， “12 枚硬币中，某一枚为假币”该事件发生的概率为P = ； “假币的重量比真的轻，或重”该事件发生的概率为P = ； 为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独立的，因 此有 I = log12 + log2 = log24 比特 而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，均为P = ，因此天平 每一次消除的不确定性为I = log3 比特 因此，必须称的次数为 I 1 log24 = ≈ 2.9 次 I 2 log3 因此，至少需称 3 次。 【延伸】如何测量？分3 堆，每堆4 枚，经过3 次测量能否测出哪一枚为假币。 【2.2 】同时扔一对均匀的骰子，当得知 “两骰子面朝上点数之和为2”或 “面朝上点数之 和为 8”或 “两骰子面朝上点数是3 和4”时，试问这三种情况分别获得多少信息量？ 解： “两骰子总点数之和为2”有一种可能，即两骰子的点数各为 1，由于二者是独立的， 因此该种情况发生的概率为P = × = ，该事件的信息量为： I = log36 ≈ 5.17 比特 “两骰子总点数之和为8”共有如下可能：2 和6、3 和5、4 和4、5 和3、6 和2 ，概率 为P = × ×5 = ，因此该事件的信息量为： I 比特 “两骰子面朝上点数是3 和4”的可能性有两种：3 和4、4 和3 ，概率为P = × ×2 = ，因此该事件的信息量为： I = log18 ≈ 4.17 比特 【2.3 】如果你在不知道今天是星期几的情况下问你的朋友 “明天星期几？”则答案中含 有多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得 多少信息量（假设已知星期一至星期日的顺序）？解： 如果不知今天星期几时问的话，答案可能有七种可能性，每一种都是等概率的，均为 P = ，因此此时从答案中获得的信息量为 I = log7 = 2.807 比特 而当已知今天星期几时问同样的问题，其可能性只有一种，即发生的概率为 1，此时获得 的信息量为0 比特。 【2.4 】居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6 米以上的， 而女孩中身高 1.6 米以上的占总数一半。假如我们得知 “身高 1.6 米以上的某女孩是大学 生”的消息，问获得多少信息量？ 解： 设A 表示女孩是大学生，P(A) = 0.25 ； B 表示女孩身高 1.6 米以上，P(B | A) = 0.75 ，P(B) = 0.5 “身高 1.6 米以上的某女孩是大学生”的发生概率为 P(A | B) = P(AB) = P(A)P(B | A) = 0.25 ×0.75 = 0.375 P(B) P(B) 0.5 已知该事件所能获得的信息量为 I 比特 X a1 = 0 a2 =1 a3 = 2 a