(信息论)第二、三章习题参考答案new.docVIP

第二章习题参考答案 2-1 解：同时掷两个正常的骰子，这两个事件是相互独立的，所以两骰子面朝上点数的状态共有6×6＝36种，其中任一状态的分布都是等概的，出现的概率为1/36。 1 设“3和5同时出现”为事件A，则A的发生有两种情况：甲3乙5，甲5乙3。因此事件A发生的概率为p A 1/36 *2 1/18 故事件A的自信息量为 I A －log2p A log218 4.17 bit 2 设“两个1同时出现”为事件B，则B的发生只有一种情况：甲1乙1。因此事件B发生的概率为p B 1/36 故事件B的自信息量为 I B －log2p B log236 5.17 bit 3 两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66 因为各种组合无序，所以共有21种组合： 其中11，22，33，44，55，66的概率是 其他15个组合的概率是 4 参考上面的两个点数的排列，可以得出两个点数求和的概率分布： 5 “两个点数中至少有一个是1”的组合数共有11种。 2-2 解： 1 红色球x1和白色球x2的概率分布为 2 红色球x1和白色球x2的概率分布为 3 四种球的概率分布为 ， 2-5 解：骰子一共有六面，某一骰子扔得某一点数面朝上的概率是相等的，均为1/6。两骰子面朝上点数的状态共有36种，其中任一状态出现都是等概率的，出现概率为1/36。 1 设“面朝上点数之和为3”是事件A，点数之和为3的有两种 1+2，2+1 ，故有p A 2* 1/36 1/18 I A －log2p A 4.17 比特 2 设“面朝上点数之和为7”是事件B，点数之和为7的有6种 1+6，2+5，3+4，4+3，5+2，6+1 ，故有p B 6* 1/36 1/6 I A －log2p B 2.582-9 解：设第一次摸出的是黑球的事件为x1，第一次摸出的是白球的事件为x2，第二次摸出的是黑球的事件为y1，第二次摸出的是白球的事件为y2。 1 若摸出的球为黑球，则 若摸出的球为白球，则 ∴ 2 若第二次实验摸出的是黑球，则 若第二次实验摸出的是白球，则 ∴ 3 若第二次实验摸出的是黑球，则 若第二次实验摸出的是白球，则 ∴ 4 又， ∴ 2-14 解：设x0—0，x1—1，y0—0，y1—1，则由已知得，，， ∴， 由全概率公式得 ， 由贝叶斯公式得 由得 2 2-20 解： 1 2 3 因为是均匀分布，[a,b]不同，导致概率密度函数不同，所以信源熵不同。 2-27 解： 1 由符号条件概率得如下状态转移图 由状态转移图得状态转移概率矩阵 由得 2-33 解： 1 其中 2 当p 0或p 1时H X 0。 必然事件和完全不可能事件的熵均为0，不包含任何信息。 第三章习题参考答案 3-1 解： 1 判断唯一可译码的方法：①先用克劳夫特不等式判定是否满足该不等式；②若满足再利用码树，看码字是否都位于叶子结点上。如果在叶节点上则一定是唯一可译码，如果不在叶节点上则只能用唯一可译码的定义来判断是不是。 其中C1,C2,C3,C6都是唯一可译码。 对于码C2和C4都满足craft不等式。但是不满足码树的条件。就只能举例来判断。 对C5：，不满足该不等式。所以C5不是唯一可译码。 2 判断即时码方法：定义：即时码接收端收到一个完整的码字后，就能立即译码。特点：码集任何一个码不能是其他码的前缀，即时码必定是唯一可译码, 唯一可译码不一定是即时码。 其中C1,C3,C6都是即时码。 对C2：“0”是“01”的前缀，……，所以C2不是即时码。 由平均码长得 3-7 解： 1 信源消息的概率分布呈等比级数，按香农编码方法，其码长集合为自然数数列1, 2, 3, ···, i, ···；对应的编码分别为：0, 10, 110, ···, 111…110 i – 1个1 , ···。 2 先求熵和平均码长，二者的比值即信息传输速率 3 编码效率： 1 100% 3-11 解： 1 2 香农编码如下表所示： 符号xi 符号p xi 累加Pi -log2p xi 码长ki 码字 x1 0.32 0 1.63 2 00 x2 0.22 0.32 2.17 3 010 x3 0.18 0.54 2.46 3 100 x4 0.16 0.72 2.63 3 101 x5 0.08 0.88 3.62 4 1110 x6 0.04 0.96 4.61 5 11110 （3）费