信息论+傅祖芸+答案.docxVIP

信息论+傅祖芸+答案 解：从信息论的角度看， 第二章课后习题 【2.1】建有12枚同值硬币，其中存有一枚为假币。只晓得假币的重量与真币的重量相同，但无人知晓究竟就是轻还是重。现用比较天平左右两边酌定的方法去测量。为了在天平上称出哪一枚就是假币，何况至少必须表示多少次？ 1“12枚硬币中，某一枚为假币”该事件发生的概率为p???； 121“假币的重量比真的重，或轻”该事件出现的概率为p???； 2 为确认哪一枚就是假币，即为必须消解上述两事件的联手不确定性，由于二者就是单一制的，因 此有 1而用天平表示时，存有三种可能性：轻、重、成正比，三者就是等概率的，均为p???，因此天 3平每一次消除的不确定性为i??log3比特 因此，必须表示的次数为 i1i2 -35log3????????2.9次-30log24i??log12??log2??log24比特 因此，至少需称3次。 【延展】如何测量？分后3堆上，每堆4枚，经过3次测量若想测到哪一枚为假币。【2.2】同时投掷一对光滑的骰子，当获知“两骰子面朝上点数之和为2”或“面朝上点数之和为8”或“两骰子面朝上点数就是3和4”时，何况这三种情况分别赢得多少信息量？求解： ??“两骰子总点数之和为2”有一种可能，即两骰子的点数各为1，由于二者是独立的，111，该事件的信息量为：因此该种情况发生的概率为p???6636 i??log36??5.17比特 “两骰子总点数之和为8”共有如下可能：2和6、3和5、4和4、5和3、6和2，概 115，因此该事件的信息量为：率仅p??????5??? 6636 36i??log ?2.85比特5???2??? 111，“两骰子面朝上点数就是3和4”的可能性存有两种：3和4、4和3，概率为p???6618因此该事件的信息量为： i??log18??4.17比特 多少信息量？如果你在未知今天就是星期四的情况下明确提出同样的问题，则答案中你能够赢得多 少信息量（假设已知星期一至星期日的顺序）？解： 如果无人知晓今天星期几时问的话，答案可能将存有七种可能性，每一种都就是等概率的，均为 1p???，因此此时从答案中获得的信息量为 7 i??log7??2.807比特 而女孩中体重1.6米以上的占到总数一半。假如我们获知“体重1.6米以上的某女孩就是大学 设a表示女孩是大学生，p(a)??0.25； b则表示女孩体重1.6米以上，p(b|a)??0.75，p(b)??0.5 “身高1.6米以上的某女孩是大学生”的发生概率为生”的消息，问获得多少信息量？解： 而当未知今天星期几时问同样的问题，其可能性只有一种，即为出现的概率为1，此时赢得的信息量为0比特。 【2.4】居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，【2.3】如果你在不知道今天是星期几的情况下问你的朋友“明天星期几？”则答案中含有 p(ab)p(a|b)???p(b)未知该事件所能够赢得的信息量为 ? p(a)p(b|a)p(b) 0.25??0.750.5 ?0.375 1 i??log?1.415比特 0.375?x????a1??0a2??1a3??2a4??3?? 【2.5】设立线性并无记忆信源????????3/81/41/41/8??，其收到的消息为 ?p(x)?????????????????????????????? （202120210213001203210110321010021032021223210），谋（1）此消息的自信息就是多少？ （2）在此消息中平均每个符号携带的信息量是多少？ 求解： 信源是无记忆的，因此，发出的各消息之间是互相独立的，此时发出的消息的自信息 即为各消息的自信息之和。根据未知条件，收到各消息所涵盖的信息量分别为： 8?1.415比特i(a0??0)??log3 i(a1??1)??log4??2比特 i??14??1.415??13??2??12??2??6??3??87.81比特 45个符号共随身携带87.81比特的信息量，平均值每个符号随身携带的信息量为 87.81i????1.95比特/符号 45 注意：消息中平均每个符号携带的信息量有别于离散平均无记忆信源