信息论与编码样卷.pdf

卷号：（A） （2012 年 6 月）机密 湖北师范学院期末考试试卷 信息论与编码 考试范围 第 1 至 6 章 命题人 游雪肖 院系 数学与统计学院 考试形式 闭卷 课程类别 必修 学 期 20121 专业 信息与计算科学 大题号 一 二 三 四 五 六 七 八 九 十 班级 满 分 12 12 48 12 16 学号 得 分 姓名 阅卷人 总分 本题 一、填空题（本题共_6__小题,每小题 2 分，共 12 分) 得分 （请将正确答案填入空格内） 1．信息的___________是建立信息论的基础． 2．相对熵 D( p || q ) 是概率分布对 (p , q ) 的__________（凹或凸）函数． 3．离散平稳有记忆信源极限熵的定义为_________________________． 4．最优 D 进即时码的平均码长的上界为 L ? _________． 5．如果U? X ? Y ? V 构成马氏链，则 I( U ; V ) ____ I( X ; Y ) ．（“ ? ， ? ， ? ） 6．当 D ? ? 2 时，服从正态分布 N(0,? 2 ) 的信源在平方失真下的率失真函数 R( D ) =______． 本题 二、判断题（本题共_6_小题,每小题 2 分，共 12 分) 得分 （请在你认为正确的题后括号内打“√”，错误的打“×”） 1．某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量．（ ） 2．当随机变量 X 和Y 相互独立时， H( X , Y )? H ( X ) ． （ ） 3．有记忆信源输出符号之间是统计相关的． （ ） 4．数字集合?2, 2,3,3, 4, 4,5,5? 能成为二进即时码的码字长集． （ ） 5．信息率失真函数研究的是信道编码问题． （ ） 6．信道容量 C 只与信道的统计特性有关，而与输入信源的概率分布无关． （ ） 本题 三.计算题（本题共 5 小题,1，２，3 每小题 8 分，其余每小题 12 分，共 得分 48 分)（要求写出主要计算步骤及结果） 1．某一离散无记忆信源的符号集为?0,1? ，已知 p0 ? 1/ 4 ， p1 ? 3/ 4 ，求： （1）信源符号的平均信息量； （2）由 100 个符号构成的序列，求某一特定序列（例如有 m 个 0 和100 ? m 个 1）的信息 量的表达； （3）由 100