信息论（第二版傅祖云编着）课后答案解析.doc

第二章课后习题 【2.1】设有 12枚同值硬币，其中有一枚为假币。只知道假币的重量与真币的重量不同， 但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量。为了在天平上称出哪 一枚是假币，试问至少必须称多少次？ 解：从信息论的角度看，  “12枚硬币中，某一枚为假币”该事件发生的概率为 P??  1 12  ； “假币的重量比真的轻，或重”该事件发生的概率为 P?? 1 2 ； 为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独立的，因 此有 I?? log12?? log 2?? log 24比特  而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，均为 P?? 平每一次消除的不确定性为 I?? log 3比特 因此，必须称的次数为  1 3  ，因此天  I 1 I 2  ?  log 24 log 3  ≈ 2.9次  因此，至少需称 3次。 【延伸】如何测量？分 3堆，每堆 4枚，经过 3次测量能否测出哪一枚为假币。 【2.2】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为 2”或“面朝上点数之 和为 8”或“两骰子面朝上点数是 3和 4”时，试问这三种情况分别获得多少信息量？ 解： “两骰子总点数之和为 2”有一种可能，即两骰子的点数各为 1，由于二者是独立的，  因此该种情况发生的概率为 P??  1 1 6 6  ?  1 36  ，该事件的信息量为： I?? log 36?≈ 5.17比特 “两骰子总点数之和为 8”共有如下可能：2和 6、3和 5、4和 4、5和 3、6和 2，概  率为 P??  1 1 6 6  5 36  ，因此该事件的信息量为： 36 I?? log ≈ 2.85比特 5 “两骰子面朝上点数是 3和 4”的可能性有两种：3和 4、4和 3，概率为 P?? 1 1 6 6 1 18 ， 因此该事件的信息量为： I?? log18?≈ 4.17比特 【2.3】如果你在不知道今天是星期几的情况下问你的朋友“明天星期几？”则答案中含有 多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多 少信息量（假设已知星期一至星期日的顺序）？ 解： 如果不知今天星期几时问的话，答案可能有七种可能性，每一种都是等概率的，均为  P??  1 7  ，因此此时从答案中获得的信息量为 I?? log 7?? 2.807比特 而当已知今天星期几时问同样的问题，其可能性只有一种，即发生的概率为 1，此时获得 的信息量为 0比特。 【2.4】居住某地区的女孩中有 25%是大学生，在女大学生中有 75%是身高 1.6米以上的， 而女孩中身高 1.6米以上的占总数一半。假如我们得知“身高 1.6米以上的某女孩是大学 生”的消息，问获得多少信息量？ 解： 设 A表示女孩是大学生， P( A)?? 0.25； B表示女孩身高 1.6米以上， P( B | A)?? 0.75， P( B)?? 0.5 “身高 1.6米以上的某女孩是大学生”的发生概率为 P( A | B)??  P( AB) P( B)  ?  P( A) P(B | A) P( B)  ?  0. 25?? 0. 75 0.5  ? 0.375  已知该事件所能获得的信息量为  I?? log  1 0.375  ≈ 1.415比特 ? X????a1?? 0 a2?? 1 a3?? 2 a4?? 3? 1/ 4 1 / 4  ，其发出的消息为  （202120130213001203210110321010021032011223210），求 （1）此消息的自信息是多少？ （2）在此消息中平均每个符号携带的信息量是多少？ 解： 信源是无记忆的，因此，发出的各消息之间是互相独立的，此时发出的消息的自信息 即为各消息的自信息之和。根据已知条件，发出各消息所包含的信息量分别为：  I (a0?? 0)?? log  8 3  ? 1.415比特 I (a1?? 1)?? log 4?? 2比特 I (a2?? 2)?? log 4?? 2比特 I (a3?? 3)?? log 8?? 3比特 在发出的消息中，共有 14个“0”符号，13个“1”符号，12个“2”符号，6个“3” 符号，则得到消息的自信息为： I?? 14??1.415?? 13?? 2?? 12?? 2?? 6?? 3?≈ 87.81比特 45个符号共携带 87.81比特的信息量，平均每个符号携带的信息量为  I??  87.81 45  ? 1.95比特/符号 注意：消息中平均每个符号携带的信息量有别于离散平均无记