信息與编码理论课后习题答案.docVIP

2.1 莫尔斯电报系统中，若采用点长为0.2s，1划长为0.4s，且点和划出现的概率分别为2/3和1/3，试求它的信息速率(bits/s)。 解: 平均每个符号长为:秒 每个符号的熵为比特/符号 所以，信息速率为比特/秒 2.2 一个8元编码系统，其码长为3，每个码字的第一个符号都相同(用于同步)，若每秒产生1000个码字，试求其信息速率(bits／s)。 解: 同步信号均相同不含信息,其余认为等概,每个码字的信息量为 3*2=6 比特； 所以，信息速率为比特/秒 掷一对无偏的骰子，若告诉你得到的总的点数为：(a) 7；(b) 12。试问各得到了多少信息量? 解: (a)一对骰子总点数为7的概率是 所以，得到的信息量为 比特 (b) 一对骰子总点数为12的概率是 所以，得到的信息量为 比特 经过充分洗牌后的一付扑克(含52张牌)，试问：(a) 任何一种特定排列所给出的信息量是多少? (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量? 解: (a)任一特定排列的概率为, 所以，给出的信息量为 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 所以，得到的信息量为 比特. 设有一个非均匀骰子，若其任一面出现的概率与该面上的点数成正比，试求各点出现时所给出的信息量，并求掷一次平均得到的信息量。 解:易证每次出现i点的概率为,所以 园丁植树一行，若有3棵白杨、4棵白桦和5棵梧桐。设这12棵树可随机地排列，且每一种排列都是等可能的。若告诉你没有两棵梧桐树相邻时，你得到了多少关于树的排列的信息? 解: 可能有的排列总数为 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X Y X Y X Y X Y X Y 图中X表示白杨或白桦，它有种排法，Y表示梧桐树可以栽种的位置，它有种排法，所以共有*=1960种排法保证没有两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为=3.822 比特 2.7 某校入学考试中有1/4考生被录取，3/4考生未被录取。被录取的考生中有50%来自本市，而落榜考生中有10％来自本市，所有本市的考生都学过英语，而外地落榜考生中以及被录取的外地考生中都有40%学过英语。 (a) 当己知考生来自本市时，给出多少关于考生是否被录取的信息? (b) 当已知考生学过英语时，给出多少有关考生是否被录取的信息? (c) 以x表示是否落榜，y表示是否为本市学生，z表示是否学过英语，x、y和z取值为0或1。试求H(X)，H(Y|X)，H(Z|YZ)。 解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地；Z=0表示学过英语，Z=1表示未学过英语，由此得 2.8 在A、B两组人中进行民意测验，组A中的人有50%讲真话(T)，30%讲假话(F)，20%拒绝回答(R)。而组B中有30%讲真话，50%讲假话和20%拒绝回答。设选A组进行测验的概率为p，若以I(p)表示给定T、F或R条件下得到的有关消息来自组A或组B的平均信息量，试求I(p)的最大值。 解:令，则 2.9 随机掷三颗骰子，以X表示第一颗骰子抛掷的结果，以Y表示第一和第二颗骰子抛掷的点数之和，以Z表示三颗骰子的点数之和。试求H(Z|Y)、H(X|Y)、H(Z|XY)，H(XZ|Y)和H(Z|X)。 解:令X=X1,Y=X1+X2,Z=X1+X2+X3, H(X1)=H(X2)=H(X3)= 比特 H(X)= H(X1) ==2.585 比特 H(Y)= H(X2+X3) = = 3.2744比特 H(Z)= H(X1+X2+X3) = 3.5993 比特 所以 H(Z/Y)= H(X3)= 2.585 比特 H(Z/X) = H(X2+X3)= 3.2744比特 H(X/Y)=H(X)-H(Y)+H(Y/X) = 2.585-3.2744+2.585 =1.8955比特 H(Z/XY)=H(Z/Y)= 2.585比特 H(XZ/Y)=H(X/Y)+H(Z/XY) =1.8955+2.585 =4.4805比特 计算习题2.9中的I (Y；Z)，I (X；Z)，I (XY；Z)，I (Y；Z|X)和I (X；Z|Y)。 解:I(Y;Z)=H(Z)-H(Z/Y) =H(Z)- H(X3)= 3.5993-2.585 =1.0143比特 I(X;Z)=H(