信息论与编码(第二版)习题答案,陈运,主编.docVIP

信息论与编码(第二版)习题答案,陈运,主编 　　 篇一：信息论与编码复习资料重点陈运第二版 　　 2.3居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 　　 解： 　　 设随机变量X代表女孩子学历 　　 XP(X) 　　 x1（是大学生） 　　 0.25 　　 x2（不是大学生） 　　 0.75 　　 设随机变量Y代表女孩子身高 　　 YP(Y) 　　 y1（身高160cm） 　　 0.5 　　 y2（身高160cm） 　　 0.5 　　 已知：在女大学生中有75%是身高160厘米以上的即：p(y1/x1)?0.75bit 　　 求：身高160厘米以上的某女孩是大学生的信息量即：I(x1/y1)??logp(x1/y1)??log 　　 p(x1)p(y1/x1) 　　 p(y1) 　　 ??log 　　 0.25?0.75 　　 0.5 　　 ?1.415bit 　　 2.4设离散无记忆信源? 　　 ??x1?0??? 　　 ?P(X)??3/8? 　　 X 　　 x2?1x3?21/4 　　 1/4 　　 x4?3? 　　 ?，其发出的信息1/8? 　　 为(202120XX02130012032101103210100210320XX223210)，求(1)此消息的自信息量是多少？ 　　 (2)此消息中平均每符号携带的信息量是多少？ 　　 解： 　　 (1)此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：?3?p??? 　　 ?8? 　　 14 　　 ?1?????4? 　　 25 　　 ?1?????8? 　　 6 　　 此消息的信息量是：I??logp?87.811bit 　　 (2)此消息中平均每符号携带的信息量是：I/n?87.811/45?1.951bit 　　 2.5从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？ 　　 解：男士： 　　 p(xY)?7% 　　 I(xY)??logp(xY)??log0.07?3.837bitp(xN)?93% 　　 I(xN)??logp(xN)??log0.93?0.105bit 　　 2 　　 H(X)???p(xi)logp(xi)??(0.07log0.07?0.93log0.93)?0.366bit/symbol 　　 i 　　 女士： 　　 2 　　 H(X)???p(xi)logp(xi)??(0.005log0.005?0.995log0.995)?0.045bit/symbol 　　 i 　　 2.7同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1)“3和5同时出现”这事件的自信息；(2)“两个1同时出现”这事件的自信息； 　　 (3)两个点数的各种组合（无序）对的熵和平均信息量；(4)两个点数之和（即2,3,?,12构成的子集）的熵；(5)两个点数中至少有一个是1的自信息量。 　　 解：(1) 　　 p(xi)? 　　 16?16?16?16?118 　　 118 　　 ?4.170bit 　　 I(xi)??logp(xi)??log 　　 (2) 　　 p(xi)? 　　 16?16?136 　　 136 　　 ?5.170bit 　　 I(xi)??logp(xi)??log 　　 (3) 　　 两个点数的排列如下：111213142131415161 　　 2232425262 　　 2333435363 　　 2434445464 　　 152535455565 　　 162636465666 　　 共有21种组合： 　　 其中11，22，33，44，55，66的概率是 　　 16?16?136 　　 其他15个组合的概率是2? 　　 16 　　 ? 　　 16 　　 ? 　　 118 　　 1111?? 　　 H(X)???p(xi)logp(xi)???6?log?15?log??4.337bit/symbol 　　?i 　　 (4) 　　 参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下： 　　 ?X? 　　 ?P(X 　　 2