211-12信息论与编码A程序.doc

暨 南 大 学 考 试 试 卷 教 师 填 写 20 12 - 20 13 学年度第 一 学期 课程名称： 信息论与编码 授课教师姓名： 谭晓青 考试时间: 2013 年 1 月 16 日 课程类别 必修[ √ ] 选修[ ] 考试方式 开卷[ ] 闭卷[ √ ] 试卷类别(A、B) [ A ] 共 8 页 考 生 填 写 学院(校) 专业 班(级) 姓名 学号 内招[ ] 外招[ ] 题 号 一 二 三 四 五 六 七 八 九 十 总 分 得 分 得分 评阅人 一、选择题（共5小题，每小题3分，共15分） 下列关于离散随机变量信息熵的论断中错误的是（ D ）。 A、信息熵表示了信源输出前，信源的平均不确定性； B、信息熵是其概率空间中每个事件所含有的自信息量的数学期望； C、信息熵表示了信源输出后，每个消息或符号所提供的平均信息量； D、信息熵并不反映随机变量的随机性。 对于连续信源，若平均功率受限（方差受限）时，则其概率密度函数是（ A ）时，差熵具有最大值。 A、高斯分布 B、均匀分布 C、三角分布 D、非均匀分布 下图给出了两个离散信源X、Y的概率空间，其熵值间满足（ B ）。 A、H(X) H(Y) B、H(X) H(Y) C、2H(X) =H(Y) D、H(X) =2H(Y) 某无记忆信源U为，接收符号，其失真矩阵，则该信源的Dmax= （ A ）。 A、 B、 C、 D、，输出Y的符号集为，信道矩阵，现有四个消息的信源通过这信道传输（消息等概率出现）。若对信源进行编码，我们选这样一种码 其码长为。这样编码后信息传输率等于（ B ）。 A、 B、 C、 D、表示输入变量的符号个数，用表示输出变量的符号个数，其信道容量C = 。 若连续信源X的取值区间为，其概率密度函数为，其中，m是X的数学期望，则连续信源X的差熵。 有噪信道编码定理：有噪信道的信道容量为C，，只要码长 足够长 ，必存在一种信道编码和相应的译码规则，使译码平均错误概率为 任意小 。 已知在GF(2)[x]上有，构造(7, 4)循环码可以选择生成多项式=。 若纠错码的最小距离为dmin，要检测个随机错误，则要求；要纠正个随机错误，则要求；要纠正个同时检测个随机错误，则要求。 得分 评阅人 三、计算题（共6小题，每小题10分，共60分） 某一无记忆信源的符号集为{0, 1}，已知P(0) = 1/4，P(1) = 3/4。 (1) 求符号的平均熵；（3分） (2) 有100个符号构成的序列，求某一特定序列（例如有m个“0”和（–m）个“1”）的自信息量的表达式；（4分） (3) 计算(2)中序列的熵。（3分） 解：(1) (2) 。。。。。。。。。。。。。4分 (3) 。。。。。。。。。。。。。3分 求下列可抹信道的容量其条件概率P(Y/X)。 解：可抹信道是一个准对称信道，把信道矩阵分解成两个子矩阵如下： 3分 对信源：，编三进制哈夫曼码，并计算平均码长和码率。 解：三进制哈夫曼码： 。。。。。。。。。。。。。7分 xi p(xi) 编码 码字 ki s3 1 　 　 s2 0.54 0 　 　 s1 0.26 1 　 　 x1 0.2 2 2 1 x2 0.19 0 00 2 x3 0.18 1 01 2 x 0.17 2 02 2 x5 0.15 0 10 2 x6 0.1 1 11 2 x7 0.01 2 12 2 设信源（p 0.5），其失真度为汉明失真度，试问当允许平均失真度D = 0.5p时，每一信源符号平均最少需要几个二进制符号表示？ 解：因为二元信源率失真函数： 其中a = 1（汉明失真）, 所以二元信源率失