课件第二章 信源熵-习题答案.pdfVIP

2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解： 四进制脉冲可以表示4 个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示 8 个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示 2 个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量H (X ) log n log 4 2 bit / symbol 1 八进制脉冲的平均信息量H (X 2 ) log n log 8 3 bit / symbol 二进制脉冲的平均信息量H (X 0 ) log n log 2 1 bit / symbol 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2 倍和 3 倍。 2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160 厘米以上的，而女 孩子中身高160 厘米以上的占总数的一半。假如我们得知“身高 160 厘米以上的某女孩是大 学生”的消息，问获得多少信息量？ 解： 设随机变量 X 代表女孩子学历 X x1 （是大学生） x2 （不是大学生） P(X) 0.25 0.75 设随机变量 Y 代表女孩子身高 Y y 1 （身高160cm ） y 2 （身高160cm ） P(Y) 0.5 0.5 已知：在女大学生中有75%是身高 160 厘米以上的 即：p (y / x ) 0.75 bit 1 1 求：身高 160 厘米以上的某女孩是大学生的信息量 p (x )p (y / x ) 0.25 0.75 即：I (x / y ) log p (x / y ) log 1 1 1 log 1.415 bit 1 1 1 1 p (y ) 0.5 1 2.3 一副充分洗乱了的牌（含52 张牌），试问 (1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取13 张牌，所给出的点数都不相同能得到多少信息量？ 解： (1) 52 张牌共有 52 ！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： 1 p (x ) i 52! I (x ) log p (x ) log 52! 225.581 bit i i (2) 52 张牌共有 4 种花色、13 种点数，抽取 13 张点数不同的牌的概率如下： ·1 · 413 p (x ) i C13 52 413 I (x ) log p (x ) log 13.208 bit i i C13 52 X x 0 x 1 x 2 x 3    1 2 3 4  2.4 设离散无记忆信源   ，其发出的信息为 P(X )  3/ 8