信息科学基础2012A卷及答案.doc

河北科技大学2012——2013 学年第一学期 《信息科学基础》试卷（A） 学院 理学院 班级 姓名 学号 题号 一 二 总分 得分 得分 一、简答题（共题，每题5分）、，但A，B不能落入同一方格内。试求： 若仅有质点A，求A落入任一个格的平均自信息量； 若已知A已入，求B落入的平均自信息量； 若A，B是可分辨的，求A，B同时落入的平均自信息量。 2．设离散无记忆信源为 求信源的熵，并解释为什么不能满足信源的极值性。 3.令离散无记忆信源 （1）求对S的最佳二元码、平均码长和编码效率； （2）求对的最佳二元码、平均码长和编码效率。 4.解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。5.一个马尔可夫过程的基本符号0,1,2，这三个符号以等概率出现，具有相同的转移概率，并且没有固定约束。 （1）画出单纯马尔可夫过程的状态图，并求稳定状态下的马尔可夫信源熵 ； （2）画出二阶马尔可夫过程状态图，并求稳定状态下二阶马尔可夫信源熵。 6.当信源是无记忆时，无记忆的N次扩展信道的平均互信息与原信道平均互信息的关系如何？ 7. 什么是平均自信息（信息熵）？什么是平均互信息？比较一下两个概念的异同之处。. 一个马尔科夫链的状态转移矩阵为p=，该马尔可夫链是否具有遍历性？为什么？ 得分 二、综合题（共题，每题10分）1. 设有一个二进制二阶马尔可夫信源，其信源符号集为{0,1}，条件概率为p(0|00)=p(1|11)=0.8, p(1|00)=p(0|11)=0.2, p(0|01)=p(0|10)= p(1|01)=p(1|10)=0.5.这个信源的符号数是q=2, 共有四种可能状态：S1=00；S2=01；S3=10；S4=11. （1）给出信源的状态转移矩阵. （2）求出平稳分布. （3）该平稳分布所对应的信源熵. 2、有一个一阶平稳马尔可夫链，各取值于集，已知起始概率为，，其转移概率如下表所示。 1 2 3 1 2 3 1/2 2/3 2/3 1/4 0 1/3 1/4 1/3 0 求的联合熵和平均符号熵； 求这个链的极限平均符号熵； 求，，和它们对应的冗余度。 3.设有一离散信道，其信道矩阵为，求：（1）最佳概率分布？（2）当，时，求平均互信息 信道疑义度 （3）输入为等概率分布时，试写出一译码规则，使平均译码错误率最小，并求此.设线性分组码的生成矩阵为，求：（1）此（n，k）码的n=？ k=？，写出此（n，k）码的所有码字。（2）求其对应的一致校验矩阵H。（3）确定最小码距，问此码能纠几位错？列出其能纠错的所有错误图样和对应的伴随式。（4）若接收码字为000110，用伴随式法求译码结果。.某气象员报告气象状态，有四种可能的消息：晴、云、雨和雾。若每个消息是等概的，那么发送每个消息最少需要的二元脉冲数是多少？又若4个消息出现的概率分别为，问在此情况下消息所需的二元脉冲数是多少？如何编码？ 6. 假定离散矢量信源N=3，输出矢量序列为，其中，的取值为{0,1}；经信源传输后的输出为，其中，的取值为{0,1}。定义失真函数 求矢量失真矩阵。 河北科技大学2011——2012 学年第一学期 《信息科学基础》答案（A） 简答题（共题，每题5分）. （1）答： 平均自信息量 （2）答：A落入后，B再落入的概率 （3）答：A，B同时落地的联合熵 2. 答：由定义，信源的熵 信源的概率分布要求满足，而此题中。即各种可能发 生的情况下，概率之和大于“1”，在实际情况下这是不可能发生的。 3.（1）答 ：采用霍夫曼方法进行编码，得：1 ：00 =01 平均码长为(码元/信源符号) 编码效率为 （2）答： 霍夫曼编码后：10 ：001 ：010 ：110 ：111 ：0000 ：0001 ：0110 ：0111 平均码长为（码元/信源符号） 信源熵为（bit/信源符号） 编码效率为4.答：最小错误概率译码准则下，将接收序列译为后验概率最大时所对应的码字。最大似然译码准则下，将接收序列译为信道传递概率最大时所对应的码字。最小距离译码准则下，将接收序列译为与其距离最小的码字。三者关系为：输入为等概率分布时，最大似然译码准则等效于最小错误概率译码准则。在二元对称无记忆信道中，最小距离译码准则等效于最大似然译码准则。5. 稳定状态下的马尔可夫信源熵为 (2)答：有九个不同状态，27条转移线。9个不同状态分别为00,01,02,10,11,12,20,21,22。 每一状态的熵为 又知二阶马尔可夫每一状态的概率为，所以二阶马尔可夫信源熵为 6.答：7