信息论与编码理论-第2章信息的度量-习题解答-20071017.doc

第2章 信息的度量 习 题 2.1 同时扔一对质地均匀的骰子，当得知“两骰子面朝上点数之和为5”或“面朝上点数之和为8”或“两骰子面朝上点数是3和6”时，试问这三种情况分别获得多少信息量？ 解： 某一骰子扔得某一点数面朝上的概率是相等的，均为1/6，两骰子面朝上点数的状态共有36种,其中任一状态出现都是等概率的,出现概率为1/36。设两骰子面朝上点数之和为事件a，有： ⑴ a=5时，有1+4，4+1，2+3，3+2，共4种，则该事件发生概率为4/36=1/9，则信息量为I(a)=-logp(a=5)=-log1/9≈3.17(bit) ⑵ a=8时，有2+6，6+2，4+4，3+5，5+3，共5种，则p(a)=5/36,则I(a)= -log5/36≈2.85(bit) ⑶ p(a)=2/36=1/18,则I(a)=-log1/18≈4.17(bit) 2.2 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几”，则答案中含有多少信息量？如果你在已知今天是星期三的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的排序）？ 解： 设“明天是星期几”为事件a： ⑴ 不知道今天是星期几：I(a)=-log1/7≈2.81(bit) ⑵ 知道今天是星期几：I(a)=-log1=0 (bit) 2.3 居住某地区的女孩中有20%是大学生，在女大学生中有80%是身高1米6以上的，而女孩中身高1米6以上的占总数的一半。假如我们得知“身高1米6以上的某女孩是大学生”的消息，求获得多少信息量？ 解： 设“居住某地区的女孩是大学生”为事件a，“身高1米6以上的女孩”为事件b，则有： p(a)= 0.2，p(b|a)=0.8，p(b)=0.5， 则“身高1米6以上的某女孩是大学生”的概率为： 信息量为：I=-logp(a|b)=-log0.32≈1.64(bit) 2.4 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男同志：“你是否是红绿色盲？”，他回答“是”或“否”，问这两个回答中各含有多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志，则答案中含有的平均自信息量是多少？ 解： ⑴ 男同志回答“是”的概率为7%=0.07，则信息量I=-log0.07≈3.84(bit) 男同志回答“否”的概率为1-7%=0.93，则信息量I=-log0.93≈0.10(bit) 平均信息量为：H1=-(0.07×log0.07+0.93×log0.93) ≈0.37(bit/符号) ⑵ 问女同志的平均自信息量：H2=-[0.05×log0.05+(1-0.05) ×log(1-0.05)] ≈0.045(bit/符号) 2.5 如有7行9列的棋型方格，若有两个质点A和B，分别以等概率落入任一方格内，且它们的坐标分别为（XA，YA）、（XB，YB），但A、B不能落入同一方格内。 (1) 若仅有质点A，求A落入任一个格的平均信息量。 (2) 若已知A已落入，求B落入的平均自信息量。 (3) 若A、B是可分辨的，求A、B同时都落入的平均自信息量。 解： ⑴ 若仅有质点A，A落入任一格内的概率均为1/63，则A落入任一个格的平均信息量为： ⑵ 若已知A已落入，质点B再落入时，它只可能落入其中63-1=62个方格内，则其概率均为p(b|a)=1/62，则B落入的平均自信息量为： ⑶ A、B同时都落入的平均自信息量，即为求联合熵H(AB)： 2.6 设信源，求这信源的熵，并解释为什么H(X)??log6，不满足信息熵的极值性。 解： 信息熵 因为，所以独立变量不止6-1=5个，因此不满足信息熵的极值性。 2.7 有两个二元随机变量X和Y，它们的联合概率为 Y X 0 1 0 1 并定义另一随机变量Z=XY（一般乘积）。试计算： (1) 和。 (2) 和 。 (3) 和。 解： 从题意可知， 可得： ⑴ 和 由于Z=XY，则有 所以 随机变量X和Z的联合概率分布如下： X Z 0 1 0 0 1 由上表将X和Z的联合概率代入联合熵公式，求得： 同样Y、Z的联合概率分布如下： Y Z 0 1 0 0 1 ⑵ 和 。 ⑶ 和。 2.8 某一离散无记忆信源的符号集为，已知。 (1) 求该信源的信息熵。 (2) 有100个符号构成的序列，求某一个特定序列（例如有m个“0”和（100?–?m）个“1”）的自信息量的表达式。 (3) 计算(2)中序列的熵。 解： (1) 该信源的信息熵为：H=-1/4log1/4-3/4log3/4≈0