信息论与码理论试题l答案.docxVIP

西安电子科技大学考试时间120分钟试题题号一二三四五六七总分分数1.考试形式：闭卷；2.本试卷共七大题，满分100分。班级学号姓名任课教师一（30分）基本概念题（1）请判断正误：平均互信息I（X；Y）不大于条件平均互信息I（X；Y|Z）。（2）请给出Kraft不等式，并说明它是否为判断唯一可译码的充要条件。（3）请说明最大似然译码准则是否为最佳译码准则。（4）请给出信息率失真函数R(D)的定义并解释其物理含义。（5）请说明为什么对于平均功率受限的时间离散恒参可加噪声信道，高斯干扰是最坏的干扰及该结论在实际通信中的作用。（6）设有一硬币，其正面出现的概率为1/3，令0表示正面，试说明在情况下一个典型序列应具备的特点，并给出这一序列出现的概率。（7）若失真矩阵为，输入集合X的概率为（1/3、1/3、1/3），请分别给出Dmin和Dmax。解：（1）该结论错误。（2）craft不等式：长度为n1,n2,…,nK的D元异字头码存在的充分必要条件是。该不等式可以用来判断是否存在对应长度的唯一可译码，但是不能作为判断唯一可译码的充要条件。（3）当先验等概时，最大似然准则等价于最佳译码准则；当先验不等概时，不符合最佳译码准则。（4）信息率失真函数R(D)定义为在满足D保真度准则下所有许可试验信道所对应的平均互信息的最小值。其物理含义为：当给定失真度D时，R(D)是满足保真度准则情况下传输信源信息速率的最低值，即信源压缩的下限。（5）对平均功率受限的时间离散的恒参可加噪声信道容量C满足：其中是噪声集Z的熵功率。由于在平均功率受限条件下，同样噪声功率时，高斯分布可以达到最大的熵功率，从而在高斯噪声时，上述C取得最小值。所以对于平均功率受限的时间离散恒参可加噪声信道，高斯干扰是最坏的干扰。这样，当实际通信中对信道噪声未知时可以将其视为高斯干扰，这时算出的信道容量C如果满足要求，那么所有的噪声分布均可以满足要求。（6）在情况下，典型序列的概率分布应该接近实际概率统计分布，故此时的典型序列中正面出现的次数应该占到总次数的1/3。假设典型序列长度为L，正面出现次数为L(0)，则典型序列概率为(1/3)L(0)(2/3)L-L(0)。（7）因为,，所以有Dmin=1/3*0+1/3*0+1/3*1=1/3; Dmax=1/3*0+1/3*0+1/3*1=1/3。二（10分）有两枚硬币，一枚是正常硬币，即一面是国徽，一面是面值；另一枚是不正常硬币，其两面都是面值。现随机抽取一枚硬币进行2次抛掷试验，观察硬币朝上的一面。（1）试求观察结果与硬币是否正常之间的平均互信息。（2）试针对观察结果，给出最佳判决准则，并计算该判决准则下的平均错误率。解：（1）设x=T表示是正常硬币，x=F表示非正常硬币，y表示两次的观察结果，其中0表示观察结果为面值，1表示观察结果为国徽, 则y的全集为{00、01、10、11}。由题可知p(x=T)=p(x=F)=1/2, p(y=00)=5/8, p(y=01)=1/8，p(y=10)=1/8, p(y=11)=1/8。 I(X；Y) = （2）因为p(T|00)=, p(F|00)=,p(T|01)=, p(F|01)=0, p(T|10)=, p(T|10)=0,p(T|11)=,p(F |11)=0，所以根据最大后验概率译码准则，当观察到的结果是（01、10、11）时判断为正常硬币（x=T）,当观察到（00）时判断为非正常硬币（x=F）。此判决准则下平均译码错误概率为Pe=1/2*1/4+1/2(0+0+0)=1/8。三（15分）令离散无记忆信源，试对该信源分别进行二元和三元Huffman编码，并求相应的编码效率。解：二元Huffman编码如下，其平均码长三元Huffman编码如下，其平均码长又故二元Huffman编码三元Huffman编码四（10分）现有一离散无记忆可加噪声信道，其输入X与噪声Z统计独立；X的取值为，而Z的取值为,又；信道输出。试求此信道的容量以及达到离散无记忆可加噪声信道容量的最佳分布（讨论两种情况）。解：（1）当a=1时，根据题目可知Y的集合为{0,1,2}，其信道转移矩阵为。该信道为准对称信道，达到信道容量的最佳输入分布为等概分布。因为w(y=0)= w(y=2)=，w(1)=，所以信道容量bit。（2）当a1时，根据题目可知Y的集合为{0,1,0+,1+}，其信道转移矩阵为。该信道为对称信道，达到信道容量的最佳输入分布为等概分布，信道容量bit。五（15分）设二元(7,4)线性分组码的生成矩阵为（1）计算最小汉明距离；（2）当以最小汉明距离作为译码准则时，试写出所有伴随式以及与其对应的陪集首；（3）若接收矢量为1011000，试计算出与其对应的伴随式s，按照最小距离译码准则进行译码并判断出相应的