信息论与编码课后习题答案.docVIP

有一个马尔可夫信源，已知p(x1|x1)=2/3，p(x2|x1)=1/3，p(x1|x2)=1，p(x2|x2)=0，试画出该信源的香农线图，并求出信源熵。 解：该信源的香农线图为： 1/3 ○ ○ 2/3 (x1) 1 (x2) 在计算信源熵之前，先用转移概率求稳定状态下二个状态x1和 x2 的概率和 立方程：+ = + = =1 得 马尔可夫信源熵H = 得 H=0.689bit/符号 2．设有一个无记忆信源发出符号A和B，已知。求： 计算该信源熵； 设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； 又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。 解：① =0.812 bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为 用费诺编码方法 代码组 bi BB 0 1 BA 10 2 AB 110 3 AA 111 3 无记忆信源 bit/双符号 平均代码组长度 =1.687 bit/双符号 =0.963 bit/码元时间 ③三重符号序列消息有8个,它们的概率分别为 用霍夫曼编码方法 代码组 bi BBB 0 0 1 BBA 0 1 110 3 BAB 1 1 101 3 ABB 0 0 100 3 AAB 1 1 11111 5 BAA 0 1 11110 5 ABA 1 0 11101 5 AAA 0 11100 5 =2.436 bit/三重符号序列 =2.469码元/三重符号序列 ==0.987 bit/码元时间 3．已知符号集合{}为无限离散消息集合，它们的出现概率分别为 ，······求： 用香农编码方法写出各个符号消息的码字（代码组）； 计算码字的平均信息传输速率； 计算信源编码效率。 解: ① 代码组 0 1 1 0 2 2 10 + 3 3 110 ++…+ 111…110(-1个1) ②=2 bit/符号 =2码元/符号 ③二进制信道C=1 bit/码元时间 信源编码的编码效率==100% 4． 已知一个信源包含八个符号消息,它们的概率分布如下表，求： A B C D E F G H 0.1 0.18 0.4 0.05 0.06 0.1 0.07 0.04 ① 对这八个符号作二进制码元的霍夫曼编码,写出各个码字,并求出编码效率。 解: ①=2552bit/符号,时间熵2.552bit/s =2.552bit/s ②霍夫曼编码 符号 代码组 bi C 0.4 0