信息论与编码试卷I.doc

填空题（本题15空,每空1分,共15分 ） 某地二月份的天气概率分布为，这四种气候的自信息量分别为：fine（1）bit、cloudy（2）bit、rain（3）bit、snow（3）bit。可以看出，自信息量具有（随机变量的）性质，在（p(xi)=1）时为0。 平均互信息I(X;Y)是输入变量分布p(x)的（上凸）函数，存在最（大）值，将这个值定义为（信道容量C）。 设信源X包含n个不同离散消息，当且仅当X中各个消息出现的概率（相等）时，信源熵达到最大，为（）bit。 用公开密钥（e,n）=（3, 55）将报文“HIG”按A=01，B=02，…，Z=26进行加密，“H”的加密结果为（17），“I”为（14），“G”为（13）。 已知X，Y∈{0，1}，XY构成的联合概率为p(00)=p(11)=1/8，p(01)=p(10)=3/8，则H（X）=（1 bit/符号），H（XY）=（1.8 bit/符号）。 判断题（本题10小题,每小题1分,共10分） 1．√ 2．√ 3．√ 4．× 5．√ 6．× 7．× 8．√ 9．√ 10．× 任意两个事件之间的互信息量不可能大于其中任一事件的自信息量。 （ ） 熵H(X,Y)称为联合熵，共熵，，它表示通信完成之后，观察者对通信系统仍然存在的平均不确定度。 （ ） 码字集合{100，101，0，11}是唯一可译码。 （ ） 用哈夫曼编码方法编出的码字是唯一的。 （ ） 平均失真被定义为失真函数的数学期望。 （ ） 若要求发现2个独立随机错误，则最小码距dmin大于2即可。 （ ） 信道容量C不仅与信源有关，还是信道转移概率的函数，不同的信道有不同的信道容量。 （ ） 信源不确定度的大小与信源的消息符号数有关，符号数越多，不确定度越大。（ ） 信源的冗余度被定义为：。 （ ） 离散有记忆信源的记忆长度越长，信源熵越大。 （ ） 三 名词解释（本题4小题,每小题5分,共20分） 1 码重 码字与全零码字间的距离，或码字中“1”的个数，称为码重。 2 异前缀码 也称即时码，非延长码，任意一个码字都不是其他码字的前缀部分。 3 离散平稳信源 各维联合概率均与时间起点无关的完全平稳信源称为离散平稳信源，即： 4 突发错误 错误的的出现是一连串出现的。通常在一个突发错误持续时间内，开头和末尾的码元总是错的，中间的某些码元可能错也可能对，但错误的码元相对较多。 四 计算题（本题3小题,共25分） 设信道矩阵，输入符号概率为：，试求： 联合概率矩阵； p(yj)； 转移概率矩阵[p(xi/yj)]； 按照最大后验概率准则确定最佳译码规则； 最佳译码规则下的译码平均错误概率。 （2*5=10分） 解：1)由得联合概率矩阵（2分） 2）由 （2分） 3）由得到（2分） 4）可以确定最佳译码规则为：。 （2分） 5）在最佳译码规则下的译码平均错误概率为： （2分） 设输入符号表与输出符号表为X=Y={0，1，2，3}，且输入X等概分布。设失真矩阵为，求和及。（2+2+3=7分） 解：由题意得 （2分） （2分） 根据Dmax的定义，可得 （3分） 已知（7，4）线性分组码的监督关系式为：，其中x6~x3是信息位，x2~x0是监督位，试： 求该循环码的校验矩阵H； 生成矩阵G； 求此码的最小距离dmin； 若接收序列R=（1101010），接收是否有错？如有错，错误图案对应的伴随式为多少？ （2*4=8分） 解：1）由监督关系式可直接得出校验阵 （2分） 2）根据系统码的G阵和H阵之间的关系，得 （2分） 3）16组码字为0000000、0001011、0010101、0011110、0100110、0101101、0110011、0111000、1000111、1001100、1010010、1011011、1100001、1101010、1110100、1111111 所以，改组码字间的最小距离dmin=3 4）R=1101010，RH