昆明理工大学 信息论与编码new.docVIP

昆明理工大学津桥学院 试卷 （闭补考 -6） Examination of Oxbridge College, KUST 信息与计算科学 专业 2009级 考试科目 信息论与编码 考试时间 学生姓名 学号 班级 成绩 题号 一 二 三 四 五 六 总分 分数 考试要求：该卷为闭卷考试，满分为100分，考试时间为2个小时，准许携带。 每空2分，共30分 。 1．信息论的创始人香农，在他的光辉著作《通信的数学理论》中他把信息定义为用来消除不确定的东西 2.要使一个信息传输系统最优化，就是要提高信息传输的可靠性、有效性，认证性 和保密性。 3．若 ，则H X 的最大值为H X ＝1bit/symbol。 4．设X取值于（-M,M）,即,这时微分熵Hc（x）最大值为 ，当均匀分布时达到。 5．若为马尔可夫链，则I X;Z|Y I X;Z|Y 0 。 6．信源的无失真编码是压缩冗余度的编码； 信源的限失真编码是压缩熵 的编码。 7．信道按其输入与输出信号之间的关系是否是确定关系可分为有噪信道 和无噪信道。 8．信道编码速率R与信道容量C满足R C 时，存在一系列码（2nR,n）, 当时，最大误码概率。 9．纠错码按校验位与信息位之间的约束关系可分为分组码和卷积码。 10．当DMS的信息率失真函数R D 与编码速率R满足R R D 时，则一定存在一种编码方法，使E D ≤D*（其中D*为失真标准）。 二、（20分）设二元对称信道的信道矩阵为。 （1）若输入为，，求，，，， ？ （2）求该信道的信道容量及其达到信道容量时的输入概率分布？ （3）设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在这消息中。问从信息传输的角度来考虑，10秒内能否将这消息序列无失真地传送完？ 解：（1） ＝ ＝0.811bit/symbol――――――――――2分 0.98bit/symbol―――――――――――4分 0.749bit/symbol――――6分 0.918bit/symbol―――――――8分 －＝0.062bit/symbol―――――――――――10分 2 0.082bit/symbol――――――――――――13分 达到信道容量时的输入概率分布等概率分布即: ，―15分 3 ＝1bit/symbol 此消息序列含有的信息量＝14000symbolx1bit/symbol bit 1500symbol/sx0.082bit/symbol 123bit―――18分 10 1230bit 1230bit bit 所以，10秒内能不将这消息序列无失真地传送完。―――――――－20分 三、（5分）有一离散的平稳无记忆信源为： 求：这个信源的二次扩展信源的熵？ 解: 因为＝bit/symbol 所以 2 3bit/symbol―――――――――――――5分 四、 10分 计算下列信道容量C。 1．信道矩阵。 2．信道矩阵。 bit/symbol―――――――――――――――5分 2. ――――――――――――――――――5分 五、（15分）设有一离散信道，其信道矩阵为： ， 求：（1）当信源是等概率信源时，按极大似然译码准则选择译码函数，并计算其平均错误译码概率？ （2）计算其信道容量？ 解: 1 按极大似然译码准则选择译码函数为： ―――――――――――――――5分 平均错误译码概率――－10分 2 ――――――――――15分 六、 20分 令DMS为: 求二元Huffman码，计算，并画出其树图。 求三元Huffman码，计算，并画出其树图。 解: 二元Huffman码 符号 码字 111 101 100 011 001 000 1101 1100 0101 0100 ――――――――――――――――――――――――――――――5分 3.236bit/symbol 3.26 ―――――――――――――――――――――10分 2 三元Huffman码 符号 码字 00 01 02 10 12 20 21 22 110 111 ――――――――――――――――――――――――――――――15分 3.236bit/symbol 2.11 ――――――――――――――――――――――20分 第 5 页 共 6 页