信息理论基础第四版北京航空航天大学出版社出版.pdf

2.1 同时掷出一对质地均匀的骰子，也就是各面朝上发生的概率均为1/6，试求： (1) “3和5同时出现”这事件的自信息量； (2) “两个1同时出现”这事件的自信息量； (3) “两个点数中至少有一个是1”这事件的自信息量。 解： (1) 1 1 1 1 1 p(x )     i 6 6 6 6 18 1 I(x ) log p(x ) log 4.17 bit i i 18 (2) 1 1 1 p(x )   i 6 6 36 1 I(x ) log p(x ) log 5.17 bit i i 36 (3) 1 1 11 p(x )   11 i 6 6 36 11 I(x ) log p(x ) log 1.71 bit i i 36 2.4 居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6m以上的，而女孩 中身高1.6m以上的占总数的一半。假如我们得知 “身高1.6m以上的某女孩是大学生”的消 息，问获得多少信息量？ 解： 设随机变量X 代表女孩子学历 X x （是大学生） x （不是大学生） 1 2 P(X) 0.25 0.75 设随机变量Y 代表女孩子身高 Y y （身高160cm ） y （身高160cm ） 1 2 P(Y) 0.5 0.5 已知：在女大学生中有75%是身高160 厘米以上 即：p(y / x ) 0.75 bit 1 1 求：身高160 厘米以上的某女孩是大学生的信息量 p(x )p(y / x ) 0.25 0.75 即：I(x / y ) log p(x / y ) log 1 1 1 log 1.415 bit 1 1 1 1 p(y ) 0.5 1 2.5 一副充分洗乱了的牌（含52张牌），试问： (1)任一特定排列所给出的信息量是多少？ (2)若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解： (1) 52 张牌共有52 ！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： ·1 · 1 p(x ) i 52! I(x ) log p(x ) log 52!225.581 biti i (2) 52 张牌共有4 种花色、13 种点数，抽取 13 张点数不同的牌的概率如下： 413 p(x ) i 13 C 52 413 I(x ) log p(x ) log 13.208 bit