信息论与编码（汤学明）信息论与编码——B答案3.docVIP

计算机学院 2012 — 2013 学年第 一 学期 《信息论与编码》考试试卷 B卷 闭卷 考试时间： 年 月 日 专业 信息安全 班级 学号 学生姓名 题号 一 二 三 四 五 六 七 总分 核对人 题分 10 15 18 15 15 12 15 100 得分 得分 评卷人 一、填空题（共10分，每空1分） (1) 根据信息的性质，可以将信息分成　语法信息　、　语义信息　和语用信息。 (2) 单符号离散平稳无记忆信源呈　等概率　分布时，信源熵取最大值　log n　。 (3) 固定信源，平均互信息是信道转移概率分布的　　下凸　　函数；反之，固定信道，平均互信息是信源概率分布的　　上凸　　函数。 (4) 常见的多用户信道主要有　　多址接入信道　　、　　广播信道　　和相关信源的多用户信道三种类型。 (5) 信息率失真函数R(D)在定义域内是允许平均失真度D的　　下凸　　函数，随着D的增加，率失真函数R(D)是　　严格单调递减的　　。 得分 评卷人 二、简答题（共15分，每小题5分） (1) 什么是噪声熵，它与平均互信息有什么联系？噪声熵H(Y | X )表示信源发出X后，对信宿收到Y存在的平均不确定度，它是信息在传输中由于噪声干扰而添加的一部分无用信息；平均互信息等于信宿熵H(Y )减去噪声熵。 (2) 什么是平均符号熵？它与极限熵存在何种关系：多符号信源平均发出一个由N个符号组成的符号序列，在统计意义上平均每发出一个符号所提供的信息量，表示为：。当N趋于无穷大时，平均符号熵的极限值就是极限熵。 (3) 简述信道编码定理：对于信道容量为C的离散无记忆平稳信道，其输入序列长度为L，只要待传送的信息传输率R ??C，总可以找到一种信道编码方法，使得当L足够长时，译码差错概率小于任意小的正数。反之，当R ? C时，无论怎么编码，随着L的增大，译码出错的概率趋于1。 得分 评卷人 三、计算题I（共18分） 设随机变量X和随机变量Y的联合概率分布如右表所示：定义另一随机变量，试计算： (1) 信息熵； (2) 条件熵； (3) 平均互信息； (4) 如果对Z进行定长无失真信源编码，若要求编码效率大于95%，译码差错率不超过，需要多少个信源符号一起编码？ 解：根据已知条件可求得X, Y, Z, XY, XZ, XYZ的概率分布分别如下： X 1 2 Y 2 4 Z 1 2 4 PX 0.40 0.60 PY 0.45 0.55 PZ 0.20 0.65 0.15 XZ 12 14 21 22 其它 PXZ 0.25 0.15 0.20 0.40 0 YZ 22 44 21 42 其它 PYZ 0.25 0.15 0.20 0.40 0 XYZ 122 144 221 242 其它 PXYZ 0.25 0.15 0.20 0.40 0 由此计算得： (1) (2) (3) (4) 则： 由得： 得分 评卷人 四、计算题II（共15分） 设某2进制二阶马尔可夫信源，其信源符号集为{0, 1}，条件概率为： 试求： (1) 信源全部状态及一步状态转移概率矩阵； (2) 画出完整的二阶马尔可夫信源的状态转移图； (3) 该二阶马尔可夫信源的极限熵。 解： (1) 信源全部状态为： 一步状态转移概率矩阵为： (2) 状态转移图如图所示： (3) 由及可得： ，即：，解得： 得分 评卷人 五、计算题III（共15分） 已知某离散信道的概率转移矩阵为：试求： (1) 该信道的信道容量C； (2) 达到信道容量的最佳输入概率分布。 解： (1) 由可得： 联立解得： 信道容量： (2) 由可得达到信道容量时的输出概率分布为： 由可得： 联立解得： 或者由：解得，其中： 得分 评卷人 六、计算题IV（共12分） 设有某二元离散信源的概率分布为：，其失真矩阵定义为：，某试验信道的信道矩阵为，试求： (1) 该信源的； (2) 如限定最大许可平均失真度，求信息率失真函数； (3) 如果将失真视作单位为“元”的经济损失，求信息率失真函数的信息价值率。 解： (1) 由可得： ，因此： (2) 由于是二元离散信源，且失真函数定义为误码失真，因此： 当时，率失真函数为： (3) 由题意当信息传输率为时：平均损失为元，则： 得分 评卷人 七、信源编码题（共15分） 设有一单符号离散无记忆信源如下： ，试求： (1) 2进制费诺编码、平均码长