信息论第二章答案.docxVIP

试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍 解： 四进制脉冲可以表示 4 个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示 8 个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示 2 个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量H ( X ) ? log n ? log 4 ? 2 bit / symbol 1 八进制脉冲的平均信息量H ( X ) ? log n ? log 8 ? 3 bit / symbol 2 二进制脉冲的平均信息量H ( X ) ? log n ? log 2 ? 1 bit / symbol 0 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2 倍和 3 倍。 一副充分洗乱了的牌（含 52 张牌），试问 任一特定排列所给出的信息量是多少 若从中抽取 13 张牌，所给出的点数都不相同能得到多少信息量 解： 52 张牌共有 52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： p(x i ) ? 1 52! I (x ) ? ? log p(x ) ? log 52!? 225.581 bit i i 52 张牌共有 4 种花色、13 种点数，抽取 13 张点数不同的牌的概率如下： (a)p(x )=52/52 * 48/51 * 44/50 * 40/49 * 36/48 * 32/47 * 28/46 * 24/45 * 20/44 * 16/43 * 12/42 i * 8/41 * 4/40= (b)总样本：C13 , 其中 13 点数不同的数量为 4*4*4*…*4=413。所以，抽取 13 张点数不同的牌的概率： 52 p(x ) ? i 413 C13 52 I (x i ) ? ? log p(x i ) ? ? log 413 C13 52 ? 13.208 bit 居住某地区的女孩子有 25%是大学生，在女大学生中有 75%是身高 160 厘米以上的，而女孩子中身高 160 厘米以上的占总数的一半。假如我们得知“身高 160 厘米以上的某女孩是大学生”的消息，问获得多少信息量 解： 设随机变量X 代表女孩子学历 X x （是大学生） x （不是大学生） 1 2 P(X) 设随机变量Y 代表女孩子身高 Y y （身高160cm） y （身高160cm） 1 2 P(Y) 已知：在女大学生中有 75%是身高 160 厘米以上的 即： p( y 1 / x ) ? 0.75 1 1求：身高 160 厘米以上的某女孩是大学生的信息量 1 即： I (x  / y ) ? ?log p(x  / y ) ? ?log p(x 1 ) p( y 1 / x ) ? ?log 0.25 ? 0.75 ? 1.415 bit 1 1 1 1 p( y 1 ) 0.5 ? X ? ?x ? 0 x ? 1 x ? 2 x ? 3? 设离散无记忆信源?P( X )? ? ? 1 2 3 4 ? ，其发出的信息为(202032)，求 ? ? ? 3/ 8 1/ 4 1/ 4 1/ 8 ? 此消息的自信息量是多少 此消息中平均每符号携带的信息量是多少 解： 此消息总共有 14 个 0、13 个 1、12 个 2、6 个 3，因此此消息发出的概率是： p ? ? 3 ?14 ?? 1 ?25 ?? 1 ?6 ? 8 ? ? 4 ? ? 8 ? ? ? ? ? ? ? 此消息的信息量是： I ? ?log p ? 87.811 bit 此消息中平均每符号携带的信息量是： I / n ? 87.811/ 45 ? 1.951 bit 从大量统计资料知道，男性中红绿色盲的发病率为 7%，女性发病率为%，如果你问一位男士： “你是否是色盲”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量如果问一位女士，则答案中含有的平均自信息量是多少 解 ： 男士： p(x Y I (x Y p(x ) ? 7% ) ? ?log p(x Y ) ? 93%  ) ? ?log 0.07 ? 3.837 bit I (x N ) ? ?log p(x N N ) ? ?log 0.93 ? 0.105 bit H ( X ) ? ??2 i p(x i ) log p(x i ) ? ?(0.07 log 0.07 ? 0.93log 0.93) ? 0.366 bit / symbol 女士： H ( X ) ? ??2 i  p(x i  ) log p(x i  ) ? ?(0.005l