信息论——基础理论与应用（第5版）-习题及答案 第2章 离散信源及其信息测度.pdfVIP

第2章离散信源及其信息测度 一、设有12枚同值硬币，其中有一枚为假币。只知道假币的重量与真币的重量 不同，但不知究竟是重还是轻。现采用比较天平左右两边轻重的方法来测量(因 无砝码)。为了在天平上称出哪一枚是假币，试问至少必须称多少次? 解：从信息论的角度看， 1 “12枚硬币中，某一枚为假币”该事件发生的概率为P=; ; 12 1 “假币的重量比真的轻，或重”该事件发生的概率为P=; 2 为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独立的，因 此有 1=log12+log2=log24比特 1 而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，均为P=,因此天 3 平每一次消除的不确定性为I=log3比特 因此，必须称的次数为 Alog24 = =2.9次 1.log3 因此，至少需称3次。 【延伸】如何测量?分3堆，每堆4枚，经过3次测量能否测出哪一枚为假币。 二、同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为2”或“面朝上 点数之和为8”或“两骰子面朝上点数是3和4”时，试问这三种情况分别获得 多少信息量? “两骰子总点数之和为2”有一种可能，即两骰子的点数各为1,由于二者是独立的， 11. 1 因此该种情况发生的概率为P= ,该事件的信息量为： = × 6636 1=log36=5.17比特 “两骰子总点数之和为8”共有如下可能：2和6、3和5、4和4、5和3、6和2,概 11 5 率为P=x×5=,因此该事件的信息量为： 66 36 36 I=log=285比特 5 11 1 × ×2= “两骰子面朝上点数是3和4”的可能性有两种：3和4、4和3,概率为P=18 66 因此该事件的信息量为： 1=lg18=4.17比特 三、如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几?”则答 案中含有多少信息量?如果你在已知今天是星期四的情况下提出同样的问题，则 答案中你能获得多少信息量(假设已知星期一至星期日的排序)? 解： 如果不知今天星期几时间的话，答案可能有七种可能性，每一种都是等概率的，均为 1 P=;,因此此时从答案中获得的信息量为 7 1=log7=2.807比特 而当已知今天星期几时间同样的问题，其可能性只有一种，即发生的概率为1,此时获得 的信息量为0比特。 四、居住在某地区的女孩中有25??大学生，