南京工程学院信息论参考试卷iI.docVIP

一 填空题（本题15空,每空1分,共15分 ） 1 某地二月份的天气概率分布为，这四种气候的自信息量分别为：fine（ 1 ）bit、cloudy（ 2 ）bit、rain（ 3 ）bit、snow（ 3 ）bit。可以看出，自信息量具有（随机变量的）性质，在（ p(xi)=1 ）时为0。 2 平均互信息I(X;Y)是输入变量分布p(x)的（上凸）函数，存在最（大）值，将这个值定义为（ 信道容量C）。 3 设信源X包含n个不同离散消息，当且仅当X中各个消息出现的概率（ 相等 ）时，信源熵达到最大，为（ ）bit。 4 用公开密钥（e,n）=（3, 55）将报文“HIG”按A=01，B=02，…，Z=26进行加密，“H”的加密结果为（17），“I”为（14），“G”为（13）。 5 已知X，Y∈{0，1}，XY构成的联合概率为p(00)=p(11)=1/8，p(01)=p(10)=3/8，则H（X）=（ 1 bit/符号 ），H（XY）=（ 1.8 bit/符号 ）。 二、判断题（本题10小题,每小题1分,共10分） （1） 任意两个事件之间的互信息量不可能大于其中任一事件的自信息量。 （ ） （2） 熵H(X,Y)称为联合熵，共熵，，它表示通信完成之后，观察者对通信系统仍然存在的平均不确定度。 （ ） （3） 码字集合{100，101，0，11}是唯一可译码。 （ ） （4） 用哈夫曼编码方法编出的码字是唯一的。 （ ） （5） 平均失真被定义为失真函数的数学期望。 （ ） （6） 若要求发现2个独立随机错误，则最小码距dmin大于2即可。 （ ） （7） 信道容量C不仅与信源有关，还是信道转移概率的函数，不同的信道有不同的信道容量。 （ ） （8） 信源不确定度的大小与信源的消息符号数有关，符号数越多，不确定度越大。（ ） （9） 信源的冗余度被定义为：。 （ ） （10） 离散有记忆信源的记忆长度越长，信源熵越大。 （ ） 四 计算题（本题3小题,共25分） 1 设信道矩阵，输入符号概率为：，试求： 1） 联合概率矩阵； 2） p(yj)； 3） 转移概率矩阵[p(xi/yj)]； 4） 按照最大后验概率准则确定最佳译码规则； 5） 最佳译码规则下的译码平均错误概率。 （2*5=10分） 解：1)由得联合概率矩阵（2分） 2）由 （2分） 3）由得到（2分） 4）可以确定最佳译码规则为：。 （2分） 5）在最佳译码规则下的译码平均错误概率为： （2分） 2 设输入符号表与输出符号表为X=Y={0，1，2，3}，且输入X等概分布。设失真矩阵为，求和及。（2+2+3=7分） 解：由题意得 （2分） （2分） 根据Dmax的定义，可得 （3分） 3 已知（7，4）线性分组码的监督关系式为：，其中x6~x3是信息位，x2~x0是监督位，试： 1) 求该循环码的校验矩阵H； 2) 生成矩阵G； 3) 求此码的最小距离dmin； 4) 若接收序列R=（1101010），接收是否有错？如有错，错误图案对应的伴随式为多少？ （2*4=8分） 解：1）由监督关系式可直接得出校验阵 （2分） 2）根据系统码的G阵和H阵之间的关系，得 （2分） 3）16组码字为0000000、0001011、0010101、0011110、0100110、0101101、0110011、0111000、1000111、1001100、1010010、1011011、1100001、1101010、1110100、1111111 所以，改组码字间的最小距离dmin=3 4）R=1101010，RHT的结果是否为零，如=0，则无错；≠0，则有错；（2分） 错误图案对应的伴随式为（2 五、综合题（本题3小题,共30分） 1 设某二维离散信源的原始信源的概率空间，一维条件概率P{X2=xi/X1=xj}为： p(x1/x1)=1/2；p(x2/x1)=1/2；p(x3/x1)=0； p(x1/x2)=1/8；p(x2/x2)=3/4；p(x3/x2)=1/8； p(x1/x3)=0；p(x2/x3)=1/4；p(x3/x3)=3/4； 求：1）原始信源的熵H（X）； 2）条件熵H(X2/X1)； 3）二维信源的熵H(X1，X2)； 4