信息论与纠错编码题库.docVIP

第二章 信息的度量 信源在何种分布时，熵值最大？又在何种分布时，熵值最小？ 答：信源在等概率分布时熵值最大；信源有一个为1，其余为0时熵值最小。 平均互信息量I(X;Y)与信源概率分布q(x)有何关系？与p(y|x)又是什么关系？ 答： 若信道给定，I(X;Y)是q(x)的上凸形函数； 若信源给定，I(X;Y)是q(y|x)的下凸形函数。 2.4 设信道输入符号集为{x1,x2,……xk}，则平均每个信道输入符号所能携带的最大信息量是多少？ 答： 2.5 根据平均互信息量的链规则，写出I(X;YZ)的表达式。 答： 2.6 互信息量I(x;y)有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？ 答：互信息量，若互信息量取负值，即Q(xi|yj)q(xi)，说明事件yi的出现告知的是xi出现的可能性更小了。从通信角度看，视xi为发送符号，yi为接收符号，Q(xi|yj)q(xi)，说明收到yi后使发送是否为xi的不确定性更大，这是由于信道干扰所引起的。  2.9（1）对于离散无记忆信源DMS，试证明： 当p=1/2时，H(X)达到最大值。 对（1）中的DMS，考虑它的二次扩展信源，证明： 证明：（1）函数中的变量p在0到1中取值，从函数的结构上可以知道该函数在区间[0,1]上是关于p=1/2对称的函数。 在区间[0，0.5]上1-pp,则（1-p）/p1，所以，在此区间上0，H(x)单调递增。又该函数是在区间[0,1]上是关于p=1/2对称的函数，那么在区间[0.5,1]上单调递减。 所以，当p=1/2时，H(X)达到最大值。 (2)二次扩展后的矩阵： 2.10 一副扑克牌（不用大小王），试问 (1) 任意特定排列给出的信息量是多少？ （2）从52张牌中抽取13张，所给出的点数都不相同时得到多少信息量？ （3）从52张牌中任意抽取1张，然后放回，结果试为从DMS中取得样本，这个DMS的熵为多少？ （4）若（3）中不计颜色，熵又为多少？ 解：（1）I(xi)= —㏒=225.6（比特/符号） （2）I(x)= -㏒(q)= -log()=log(i) (3)H(X)= N*H(x)=52*(-*log())=log52=2*log13=7.4(比特/符号) （4）H(x)= -log()=3.7(比特/符号) 2.13已知平均每100个人中有2个患有某种病，为了查明病情进行某项指标的化验。化验结果对病人总是阳性，而对于健康人来说，这项指标有一半可能为阳性，一半可能为阴性。问这项化验对查明病情提供了多少信息量? 解： 病人：y1，健康人:y2 ; 2.14 一个8元编码系统，码长为4，每个码字的第一个字符相同（用于同步），若每秒产生1000个码字，求信息传输率Rt。 答：信息传输率定义为Rt=H（x）/（t*n） 其中，H（x）= -logq（xi） 所以Rt=9*1000/4=2250（Bit/Sec） 2.17 等概信源消息集：u0，u1，…u7，编码为u0=000，u1=001，… u7=111，通过错误概率为ｐ的二进制对称信道BSC传输，在接收u4=100的过程中，求： （1）1与u4之间的互信息量； （2）10与u4之间的互信息量； （3）100与u4之间的互信息量。 答：（1）由I（1；u4）=log； 又q(1)= p(1|ui)=[4(1-p)+4p]= 推出I（1；u4）=log=log2(1-p) （2）同理，可得I（10；u4）=2log2(1-p) （3）同理，可得I（100；u4）=3log2(1-p) 2.19 X,Y,Z为概率空间，证明下述关系式成立，并给出等号成立的条件。 H(YZ|X)=H(Y|Z)+H(Z|X) H(YZ|X)=H(Y|X)+H(Z|XY) H(X|Z)=H(X|Y)+H(Y|Z) 证明： (1)H(Y|Z)+H(Z|X)= =； 将其代入上式计算即可得原始成立； （2）：H(YZ|X)-(H(Y|Z)+H(Z|XY))= （3）： H(X|Z)-H(X|Y)-H(Y|Z) = =0 2.24 信源信息集X={0,1}，信宿信息集Y={0,1}，信源等概分布，通过二进制信道传输，求： (1) 该系统的平均互信息量 (2) 接收到y=0后，所提供的关于x的平均互信息量I{X；0}。 答： (1) 由 设信宿符号接收概率分别为和 bit/符号 (2) bit/符号 从而0.9954-0.8497=0.146bit/符号