信息论与编码陈运主编无水印完整版答案.doc

·  PAGE 4 · ·  PAGE 5 · 2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解： 四进制脉冲可以表示 4 个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示 8 个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示 2 个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量 H ( X1 ) = log n = log 4 = 2 bit / symbol 八进制脉冲的平均信息量 H ( X 2 ) = log n = log8 = 3 bit / symbol 二进制脉冲的平均信息量 H ( X 0 ) = log n = log 2 = 1 bit / symbol 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的 2 倍和 3 倍。 2.2 居住某地区的女孩子有 25%是大学生，在女大学生中有 75%是身高 160 厘米以上的，而女 孩子中身高 160 厘米以上的占总数的一半。假如我们得知“身高 160 厘米以上的某女孩是大 学生”的消息，问获得多少信息量？ 解： 设随机变量 X 代表女孩子学历 Xx1（是大学生）x2（不是大学生）P(X)0.250.75 设随机变量 Y 代表女孩子身高 Yy1（身高160cm）y2（身高160cm）P(Y)0.50.5 已知：在女大学生中有 75%是身高 160 厘米以上的 即： p( y1 / x1 ) = 0.75 bit 求：身高 160 厘米以上的某女孩是大学生的信息量 即： I ( x / y ) = ? log p( x / y ) = ? log p( x1 ) p( y1 / x1 ) = ? log 0.25 × 0.75 = 1.415 bit 1 1 1 1 p( y1 ) 0.5  2.3 一副充分洗乱了的牌（含 52 张牌），试问 (1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取 13 张牌，所给出的点数都不相同能得到多少信息量？ 解： (1) 52 张牌共有 52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： p( xi ) = 1 52! I ( xi ) = ? log p( xi ) = log 52!= 225.581 bit (2) 52 张牌共有 4 种花色、13 种点数，抽取 13 张点数不同的牌的概率如下：  p( xi ) = 413 C 13 52  13 413 I ( xi ) = ? log p( xi ) = ? log = 13.208 bit C 52  ? X ? ?x = 0 x = 1 x = 2 x = 3? 2.4 设离散无记忆信源 ? ? = ? 1 2 3 4 ? ，其发出的信息为 ?P( X )? ? 3 / 8 1/ 4 1/ 4 1/ 8 ?  (202120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？ (2) 此消息中平均每符号携带的信息量是多少？ 解： (1) 此消息总共有 14 个 0、13 个 1、12 个 2、6 个 3，因此此消息发出的概率是：  1 14 25 3 ? ? ? ?  6 ? 1 ? p = ? ? × ? ? × ? ? ? 8 ? ? 4 ? ? 8 ?  此消息的信息量是： I = ? log p = 87.811 bit (2) 此消息中平均每符号携带的信息量是： I / n = 87.811/ 45 = 1.951 bit 2.5 从大量统计资料知道，男性中红绿色盲的发病率为 7%，女性发病率为 0.5%，如果你问一 位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少 信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量 是多少？ 解： 男士： p( xY ) = 7% I ( xY ) = ? log p( xY ) = ? log 0.07 = 3.837 p( xN ) = 93% bit I ( xN ) = ? log p( xN ) = ? log 0.93 = 0.105 bit 2 H ( X ) = ?∑ p( xi ) log p( xi ) = ?(0.07 log 0.07 + 0.93log 0.93) = 0.366 bit / symbol i 女士