信息论与编码 曹雪虹 张宗橙 清华大学出版社 课后习题答案 第二章.pdfVIP

2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解： 四进制脉冲可以表示 4 个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示 8 个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示 2 个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量 H(X)= log n = log 4 = 2 bit/symbol 1 2 2 八进制脉冲的平均信息量 H(X)= log n = log 8 = 3 bit/symbol 2 2 2 二进制脉冲的平均信息量 H(X)= log n = log 2 = 1 bit/symbol 0 2 2 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的 2 倍和 3 倍。 2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女 孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大 学生”的消息，问获得多少信息量？ 解： 设随机变量 X 代表女孩子学历 X x（是大学生） x（不是大学生） 1 2 P(X) 0.25 0.75 设随机变量 Y 代表女孩子身高 Y y（身高160cm） y（身高160cm） 1 2 P(Y) 0.5 0.5 已知：在女大学生中有 75%是身高 160 厘米以上的 即：p(y/x)= 0.75 1 1 求：身高 160 厘米以上的某女孩是大学生的信息量 ⎡p(x) p(y / x) ⎤ ⎛0.25 ×0.75 ⎞ 即： I(x / y) = −log p(x / y) = −log 1 1 1 = −log ⎜ ⎟ =1.415 bit 1 1 1 1 2 ⎢ ⎥ 2 p(y) ⎝ 0.5 ⎠ ⎣ 1 ⎦ 2.3 一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？ 解： (1) 52 张牌共有 52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： I(x) = −log p(x) = log 52!= 225.581 bit i i 2 (2) 52 张牌共有 4 种花色、13 种点数，抽取 13 张点数不同的牌的概率如下： 413 p( x) = i 13 C 52 413 I(x) = −log p(x) = −log =13.208 bit i 2 i 2 13 C 52 · 1 · ⎡ X ⎤ ⎧x = 0 x =1 x = 2 x =3⎫