(完整版)作业参考答案-信息论.docxVIP

2.3 一副充分洗乱的牌(含 52张)，试问： 任一特定排列所给出的不确定性是多少？ 随机抽取13张牌，13张牌的点数互不相同时的不确定性是多少？ 解：(1)52张扑克牌可以按不同的顺序排列，所有可能的不同排列数就是全排列种数， 为 P522 52 8.066 1067 因为扑克牌充分洗乱，任一特定排列出现的概率相等，设事件 A为任一特定排列，则其发 生概率为 P A — 1.24 10 68 52 可得，该排列发生所给出的信息量为 I A log2 P A log2 52 225.58 bit 67.91 dit (2)设事件 B为从中抽取13张牌，所给出的点数互不相冋。 扑克牌52张中抽取13张，不考虑排列顺序，共有 C；；种可能的组合。13张牌点数 互不相同意味着点数包括可以取4中花色。所以A , 2,…，K，而每一种点数有 互不相同意味着点数包括 可以取4中花色。所以 13张牌中所有的点数都不相同的组合数为 413。因为每种组合都是 等概率发生的，所以 413C2 413 C2 413 1339 52 1.0568 10 4 则发生事件B所得到的信息量为 I B log Plog I B log P log2 生 13.208 bit C52 3.976 dit 2.5设在一只布袋中装有 100只对人手的感觉完全相同的木球，每只上涂有 1种颜色。 100只球的颜色有下列三种情况： 红色球和白色球各 50只； 红色球99只，白色球1只； 红，黄，蓝，白色各 25只。 求从布袋中随意取出一只球时，猜测其颜色所需要的信息量。 解：猜测木球颜色所需要的信息量等于木球颜色的不确定性。令 R—— -“取到的是红球” ,W - -—“取到的是白球”， Y—— -“取到的是黄球” ,B -“取到的是蓝球”。 (1) 若布袋中有红色球和白色球各 50只，即 50 1 P R P W — 100 2 则 I R I W 1 log 2 log 2 2 1 bit (2) 若布袋中红色球 99 只, 白色球1只，即  100 100 则 I R log2 P R log2 0.99 0.0145 bit I W log2P W log 20.01 6.644 bit （3）若布袋中有红，黄, 蓝，白色各 25只，即 P R P Y P B P W 1 100 4 则 I R I Y I B I W log2 1 2 bit 4 2.7设信源为 X X X2 X3 X4 X5 X6 Px 0.2 0.19 1 0.18 0.17 0.16 0.17 求 6 P Xi log 2 P Xi ， 井解释为什么 6 P X log 2 P X log 2 6，不满足信源熵的 P R 99 0.99 P W 1 0.01 i i 极值性。 6 解： P Xi log 2 P Xi i 0.2log2 0.2 0.19log20.19 0.18log20.18 0.17log20.17 0.16log20.16 0.17log20.17 2.657 bit/symbol log 2 6 2.585 6 不满足极值性的原因是 P Xi 1.07 1，不满足概率的完备性。 i 2.8大量统计表明，男性红绿色盲的发病率为 7%,女性发病率为0.5%，如果你问一位 TOC \o 1-5 \h \z 男同志是否为红绿色盲，他回答“是”或“否” 。 （1） 这二个回答中各含多少信息量 ？ （2） 平均每个回答中含有多少信息量 ？ （3） 如果你问一位女同志，则答案中含有的平均信息量是多少 ？ 解：对于男性，是红绿色盲的概率记作 P a1 7%，不是红绿色盲的概率记作 P a2 93%，这两种情况各含的信息量为 I a-i log2 1/ P a1 I a-i log2 1/ P a1 I a2 log 2 1 P a2 log2 100 93 3.83 bit 0.105 bit 平均每个回答中含有的信息量为 P a1 I (a1) P a2 I (a2) TOC \o 1-5 \h \z 7 93 3.83 0.105 \o Current Document 100 100 0.366 bit/ 回答 对于女性，是红绿色盲的概率记作P b 0.5% ,不是红绿色盲的记作 P b2 99.5%，则平均每个回答中含有的信息量为 h b p b i(b) p b I(b) 5 1000 995 1000 log 2 - log 2 1000 5 1000 995 0.045 bit/回答 HAH B 联合熵和条件熵 2.9任意三个离散随机变量 X、Y和Z，求证: H(XYZ) H(XY) H(XZ) H (X)。 证明： 方法一：要证明不等式 H X