作业参考-信息论探讨.docVIP

2.3 一副充分洗乱的牌（含52张），试问： （1）任一特定排列所给出的不确定性是多少？ （2）随机抽取13张牌，13张牌的点数互不相同时的不确定性是多少？ 解：（1）52张扑克牌可以按不同的顺序排列，所有可能的不同排列数就是全排列种数，为 因为扑克牌充分洗乱，任一特定排列出现的概率相等，设事件A为任一特定排列，则其发生概率为 可得，该排列发生所给出的信息量为 bit dit （2）设事件B为从中抽取13张牌，所给出的点数互不相同。 扑克牌52张中抽取13张，不考虑排列顺序，共有种可能的组合。13张牌点数互不相同意味着点数包括A，2，…，K，而每一种点数有4种不同的花色意味着每个点数可以取4中花色。所以13张牌中所有的点数都不相同的组合数为。因为每种组合都是等概率发生的，所以 则发生事件B所得到的信息量为 bit dit 2.5 设在一只布袋中装有100只对人手的感觉完全相同的木球，每只上涂有1种颜色。100只球的颜色有下列三种情况： (1) 红色球和白色球各50只； (2) 红色球99只，白色球1只； (3) 红，黄，蓝，白色各25只。 求从布袋中随意取出一只球时，猜测其颜色所需要的信息量。 解：猜测木球颜色所需要的信息量等于木球颜色的不确定性。令 R——“取到的是红球”，W——“取到的是白球”， Y——“取到的是黄球”，B——“取到的是蓝球”。 （1）若布袋中有红色球和白色球各50只，即 则 bit （2）若布袋中红色球99只，白色球1只，即 则 bit bit （3）若布袋中有红，黄，蓝，白色各25只，即 则 bit 2.7 设信源为 求，井解释为什么，不满足信源熵的极值性。 解： bit/symbol 不满足极值性的原因是，不满足概率的完备性。 2.8 大量统计表明，男性红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男同志是否为红绿色盲，他回答“是”或“否”。 （1）这二个回答中各含多少信息量? （2）平均每个回答中含有多少信息量? （3）如果你问一位女同志，则答案中含有的平均信息量是多少? 解：对于男性，是红绿色盲的概率记作，不是红绿色盲的概率记作，这两种情况各含的信息量为 bit bit 平均每个回答中含有的信息量为 bit/回答 对于女性，是红绿色盲的概率记作，不是红绿色盲的记作，则平均每个回答中含有的信息量为 bit/回答 联合熵和条件熵 2.9 任意三个离散随机变量、和，求证： 。 证明： 方法一：要证明不等式成立，等价证明下式成立： 根据熵函数的定义 得证 方法二：因为 所以，求证不等式等价于 因为条件多的熵不大于条件少的熵，上式成立，原式得证。 2.11 设随机变量和的联合概率空间为 定义一个新随机变量（普通乘积）。 （1）计算熵、、、、以及； （2）计算条件熵、、、、、、、以及； （3）计算互信息量、、、、以及； 解 （1） bit/symbol bit/symbol 可得的概率空间如下 由得 由对称性可得 （2） H- H=H-H 根据对称性， H=H H=H-H H=H-H 根据对称性， H=H H=H H=H-H 根据对称性，把X和Y互换得 H=H H=H-H (3) 根据对称性，得 根据对称性得 2.17 设信源发出二次扩展消息,其中第一个符号为A、B、C三种消息，第二个符号为D、E、F、G四种消息，概率和如下： 　 A B C 1/2 1/3 1/6 　 D 1/4 3/10 1/6 E 1/4 1/5 1/2 F 1/4 1/5 1/6 G 1/4 3/10 1/6 求二次扩展信源的联合熵。