信息论与编码第二章答案.docVIP

第二章 信息的度量 信源在何种分布时，熵值最大？又在何种分布时，熵值最小？ 答：信源在等概率分布时熵值最大；信源有一个为1，其余为0时熵值最小。 平均互信息量I(X;Y)与信源概率分布q(x)有何关系？与p(y|x)又是什么关系？ 答： 若信道给定，I(X;Y)是q(x)的上凸形函数； 若信源给定，I(X;Y)是q(y|x)的下凸形函数。 熵是对信源什么物理量的度量？ 答：平均信息量 设信道输入符号集为{x1,x2,……xk}，则平均每个信道输入符号所能携带的最大信息量是多少？ 答： 根据平均互信息量的链规则，写出I(X;YZ)的表达式。 答： 互信息量I(x;y)有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？ 答：互信息量，若互信息量取负值，即Q(xi|yj)q(xi)，说明事件yi的出现告知的是xi出现的可能性更小了。从通信角度看，视xi为发送符号，yi为接收符号，Q(xi|yj)q(xi)，说明收到yi后使发送是否为xi的不确定性更大，这是由于信道干扰所引起的。 一个马尔可夫信源如图所示，求稳态下各状态的概率分布和信源熵。 答： 由图示可知： 即： 可得： 得： 0.25（bit/符号） 一个马尔可夫信源，已知： 试画出它的香农线图，并求出信源熵。 答：  （1）对于离散无记忆信源DMS，试证明： 当p=1/2时，H(X)达到最大值。 对（1）中的DMS，考虑它的二次扩展信源，证明： 证明：（1）函数中的变量p在0到1中取值，从函数的结构上可以知道该函数在区间[0,1]上是关于p=1/2对称的函数。 在区间[0，0.5]上1-pp,则（1-p）/p1，所以，在此区间上0，H(x)单调递增。又该函数是在区间[0,1]上是关于p=1/2对称的函数，那么在区间[0.5,1]上单调递减。 所以，当p=1/2时，H(X)达到最大值。 (2)二次扩展后的矩阵： 2.10 一副扑克牌（不用大小王），试问 (1) 任意特定排列给出的信息量是多少？ （2）从52张牌中抽取13张，所给出的点数都不相同时得到多少信息量？ （3）从52张牌中任意抽取1张，然后放回，结果试为从DMS中取得样本，这个DMS的熵为多少？ （4）若（3）中不计颜色，熵又为多少？ 解：（1）I(xi)= —㏒=225.6（比特/符号） （2）I(x)= -㏒(q)= -log()=log(i) (3)H(X)= N*H(x)=52*(-*log())=log52=2*log13=7.4(比特/符号) （4）H(x)= -log()=3.7(比特/符号) 2.11 （1）一个无偏骰子，掷骰子的熵为多少？ （2）如果骰子被改造使得某点出现的概率与其点数成正比，熵为多少？ （3）一对无偏骰子，个掷一次，得到总点数为7，问得到多少信息量？ 解：（1）H(X)=-log(1/6)=2.58(比特/符号) (2) H(X)= -(*(log)+*(log)+*(log)+*(log)+*(log))=2.068(比特/符号) (3) I(x)= -log(**3*2)= log6=2.585(比特/符号) 一个盒子中放有100个球，其中60个是黑色，40个球是白色。 （1）随机摸取一个球，求获得的自信息量。 （2）做放回摸取n次，求这n次所得到的平均互信息量。 解:(1) I(x)= -log()= log100 (2)I(x,y)=log100 已知平均每100个人中有2个患有某种病，为了查明病情进行某项指标的化验。化验结果对病人总是阳性，而对于健康人来说，这项指标有一半可能为阳性，一半可能为阴性。问这项化验对查明病情提供了多少信息量? 解： 病人：y1，健康人:y2 ; 2.14 一个8元编码系统，码长为4，每个码字的第一个字符相同（用于同步），若每秒产生1000个码字，求信息传输率Rt。 答：信息传输率定义为Rt=H（x）/（t*n） 其中，H（x）= -logq（xi） 所以Rt=9*1000/4=2250（Bit/Sec） 2.15 一副拼板，其中3块圆形，4块方形，5块三角形，随机排成一行，每一种排列都是等可能的，如果要求不能有2块方形相邻，可以得到多少关于拼版排列的信息？ 答：I（X|Y）= -log=log 2.16 设有一个传输系统，等概传输0、1、2、3、4、5六个数字，奇数在传输时以0.5的概率错成其他奇数，偶数能正确接收，求此传输系统的平均互信息量。 答：由题意得：H（Y）=（-log）*6=log6=2.585（bit/符号） H（Y|X）=H(Y|xi)=0.75（bit/符号） I（X；Y）=H（Y）-H（Y|X）=2.585-0.75=1.835（bit/符号） 2