[2018年最新整理]信息论与编码理论1B卷答案.docVIP

广州大学 2015-2016 学年第 1 学期考试B卷答案 课程 信息论与编码理论1 考试形式（闭卷，考试） 学院 系 专业 班级 学号 姓名_ _ 题次 一 二 三 四 五 六 七 八 九 十 总分 评卷人 分数 15 14 71 100 评分 单项选择题（每分，总计分） 交换位置时（ C ）没有对称性。 A B C D 3 下列性质不是离散集的熵性质的是 （ C ） A 对称性 B 非负性 C 不确定性 D 可加性 4．下列数组中（ A ）不满足两个字母上的Kraft不等式。 A (1，1，1) B (2,2) C (1,2,3) D （3，3，3） 5．异字头码中平均码长最短的称为最佳码，下列编码方法不能得到最佳码的是（D ） A Shannon-Fano编码 B Huffman编码 C 算术编码 D LZ编码 二、填空题（每分，总计分），，则当给出比特的信源序列，其中有个，则其自信息为比特比特/符号. 2．若一个信道的输入熵为比特/符号，输出熵为比特/符号，比特/符号，则2.9比特/符号，散布度为0.8比特/符号。 3．平均互信息对信源概率分布是 上 凸函数，对信道的状态转移概率分布是 下 凸函数。 4．在二元LZ 编码中，若信源有个，某段信源序列共有个字典，则码长 。 三、（分）的联合概率分布如下： 0 1 0 1 0 。分别求。 解: 的分布率为 0 1 则比特/符号. ……………………………………………………………………..3分 的分布率为 0 1 则比特/符号. …………………………………………………..……..6分 0 1 0 1 0 =,= =0,= ==比特/符号. ……………..10分 0 1 =1,=0 =0,=1 则=0比特/符号. . …………………………………………………………………………..15分 2）（22分）若离散无记忆信源的概率分布为 分别构造二元，三元Huffman编码（要求码长方差最小，但不需求出），Shannon编码，Fano编码，Shannon-Fano-Elias编码。 并求①中二元Huffman编码的编码效率。（只列出式子即可） 解:对信源按概率从大到小排序, ,建立码树则有二元Huffman编码: ………………………………………………...…….4分 要进行三元Huffman编码,则需要添加一个空信源,成为, 建立码树则有三元Huffman编码: ……………………….8分 Shannon编码如下: 信源 码长 累加概率 码字 2 0 00 2 0.4 01 3 0.7 101 4 0.9 1110 ……………………………………………………………………………….12分 Fano编码如下: 信源 概率 第1次分组 第2次分组 第3次分组 码字 0.4 0 0 0.3 1 0 10 0.1 1 0 110 0.1 1 111 ……………………………………………………………………………….16分 Shannon-Fano-Elias编码 信源 概率 二元 码字 0.1 0.1 0.05 5 0.00001 00001 0.2 0.3 0.2 4 0.000100 0001 0.3 0.6 0.45 3 0.011 011 0.4 1 0.8 3 0.110 110 ………………………………………………………………………………………….….20分 二元Huffman编码的平均码长为==1.9…….21分 编码效率为…………………………...22分 3）（12分）若二元信源，，，对10011进行算术编码。