第三版信息论答案.docxVIP

第二章课后习题 【】设有12枚同值硬币，其中有一枚为假币。只知道假币的重量与真币的重量不同， 但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量。为了在天平上称出哪 一枚是假币，试问至少必须称多少次？ 解：从信息论的角度看， 1 “12枚硬币中，某一枚为假币”该事件发生的概率为 P —； 12 1 “假币的重量比真的轻，或重”该事件发生的概率为 P丄； 2 为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独立的，因 此有 1 log12 log log 24 比特 2 而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，均为 平每一次消除的不确定性为 log 3比特 I 因此，必须称的次数为 11 log 次 24 I 2 log 3 因此，至少需称3次 【延伸】如何测量？分3 【延伸】如何测量？分 3堆，每堆4枚，经过3次测量能否测出哪一枚为假币 【】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为 2 ”或“面朝上点数之 和为8”或“两骰子面朝上点数是3和4”时，试问这三种情况分别获得多少信息量? 解： “两骰子总点数之和为2”有一种可能，即两骰子的点数各为 1，由于二者是独立 的， 因此该种情况发生的概率为 P 1 1丄，该事件的信息量为： 6 6 36 I log 36 比特 “两骰子总点数之和为8 ”共有如下可能：2和6、3和5、4和4、5 2, 概 率为P 1 5 5 —，因此该事件的信息量为: 36 “两骰子面朝上点数是 I log 36比特 5 3和4”的可能性有两种：3和4、4和3，概率 1 1 18 因此该事件的信息量为: I Iog18 比特 【】如果你在不知道今天是星期几的情况下问你的朋友“明天星期几？”贝熔案中含有 多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，贝熔案中你能获得多 少信息量（假设已知星期一至星期日的顺序）？ 解: 如果不知今天星期几时问的话，答案可能有七种可能性，每一种都是等概率的，均为 1 P -，因此此时从答案中获得的信息量为 7 1 log 7 比特 而当已知今天星期几时问同样的问题，其可能性只有一种，即发生的概率为 得 1，此时获 的信息量为0比 特。 【】居住某地区的女孩中有 25%是大学生，在女大学生中有 75%是身高 米以上的， 而 女孩中身高 米以上的占总数一半。假如我们得知“身高 米以上的某女孩是大学 生” 的消息，问获得多少信息量？ 8 8 解： 设 A 表示女孩是大学生， ； P( A) B 表示女孩身高 米以上， P( B | A) ， P( B) “身高 米以上的某女孩是大学生”的发生概率为 P( A I B)P( AE) P( A) P(B | P( A I B) A P( B) P( B) 已知该事件所能获得的信息量为 1 log —1— 比特 a1 0 a2 1 a3 2 a4 3 ，其发出的消 肖息为 3 / 1/ 1 / 1/ 8 8 4 4 X 【】设离散无记忆信源 P( x) (202032),求 此消息的自信息是多少? 在此消息中平均每个符号携带的信息量是多 少？解： 信源是无记忆的，因此，发出的各消息之间是互相独立的，此时发出的消息的自信息 即为各消息的自信息之和。根据已知条件，发出各消息所包含的信息量分别为: (a。 0) log - 比特 8 3 2比特 (d 1) log 2比特 (a2 4 3比特 (a3 2) log 4 3) log 在发出的消息中，共有14 “ 3” 个“0”符号，13个“1” 符号，12个“2”符号，6个 符号，贝U得到消息的自信息为： I 14 13 12 2 6 比特 2 3 45个符号共携带比特的信息量，平均每个符号携带的信息量为 I 比特/符号 45 注意：消息中平均每个符号携带的信息量有别于离散平均无记忆信源平均每个符号携带的 信息量，后者是信息熵，可计算得 H ( X ) P( x) log 比特/符号 P( x) 【】如有6行8列的棋型方格，若有二个质点 A和B，分别以等概率落入任一方格内， 且它们的坐标分别为(XYA和(Xb,Yb),但A和B不能落入同一方格内。 若仅有质点A，求A落入任一个格的平均自信息量是多少？ 若已知A已落入，求B落入的平均自信息量。 若A、B是可分辨的，求A、B同都落入的平均自信息 量。解： (1)求质点A落入任一格的平均自信息量，即求信息熵，首先得出质点 A落入任 格的概率空间为: X a1 a2 a3 L a48 P 1 1 丄 L 1 48 48 48 48 平均自信息量为 H ( A log 比特/符号 48 已知质点A已落入，求B落入的平均自信息量，即求 H ( B | A) o A已落入，B落入的格可能有47