信息与编码理论题-2006-1211.docVIP

信息与编码理论习题解 第二章-信息量和熵 2.1解: 平均每个符号长为:秒 每个符号的熵为比特/符号 所以信息速率为比特/秒 2.2 解: 同步信号均相同不含信息,其余认为等概, 每个码字的信息量为 3*2=6 比特； 所以信息速率为比特/秒 2.3 解:(a)一对骰子总点数为7的概率是 所以得到的信息量为 比特 (b) 一对骰子总点数为12的概率是 所以得到的信息量为 比特 2.4 解: (a)任一特定排列的概率为,所以给出的信息量为 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 所以得到的信息量为 比特. 2.5 解:易证每次出现i点的概率为,所以 2.6 解: 可能有的排列总数为 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X Y X Y X Y X Y X Y 图中X表示白杨或白桦，它有种排法，Y表示梧桐树可以栽种的位置，它有种排法，所以共有*=1960种排法保证没有两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为=3.822 比特 2.7 解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地； Z=0表示学过英语，Z=1表示未学过英语，由此得 2.8 解:令，则 2.9 2.12 解:令X=X1,Y=X1+X2,Z=X1+X2+X3, H(X1)=H(X2)=H(X3)= 比特 H(X)= H(X1) = =2.585比特 H(Y)= H(X2+X3) = = 3.2744比特 H(Z)= H(X1+X2+X3) = = 3.5993比特 所以 H(Z/Y)= H(X3)= 2.585 比特 H(Z/X) = H(X2+X3)= 3.2744比特 H(X/Y)=H(X)-H(Y)+H(Y/X) = 2.585-3.2744+2.585 =1.8955比特 H(Z/XY)=H(Z/Y)= 2.585比特 H(XZ/Y)=H(X/Y)+H(Z/XY) =1.8955+2.585 =4.4805比特 I(Y;Z)=H(Z)-H(Z/Y) =H(Z)- H(X3) = 3.5993-2.585 =1.0143比特 I(X;Z)=H(Z)-H(Z/X) =3.5993- 3.2744 =0.3249比特 I(XY?;Z)=H(Z)-H(Z/XY) =H(Z)-H(Z/Y) =1.0143比特 I(Y;Z/X)=H(Z/X)-H(Z/XY) = H(X2+X3)-H(X3) =3.2744-2.585 =0.6894比特 I(X;Z/Y)=H(Z/Y)-H(Z/XY) =H(Z/Y)-H(Z/Y) =0 2.10 解:设系统输出10个数字X等概,接收数字为Y, 显然 H(Y)=log10 所以 I(X;Y)= 比特 2.11 解:（a）接收前一个数字为0的概率 （b）同理 （c）同理 （d）同理 2.12 解:见2.9 2.13 解: (b) (c) （由第二基本不等式） 或 （由第一基本不等式） 所以 (a) 等号成立的条件为,对所有,即在给定X条件下Y与Z相互独立。 2.14 解: (a) (b) 注： 2.15 解: (a) (b) (c) 2.16 解: (a) 又由互信息的非负性，即 有，所以 (b) (c) 当且仅当X和Y独立时，I（X；Y）=0，所以 当且仅当X和Y独立时，。 2.23 解: (a) (b) 令 (c) 令 2.28 解: (a) 由已知， （b） (c)由 可求得V的分布为 再由及可求得V的条件分布为 第三章 离散信源无失真编码 3.1解:长为n码字的数目为Dn ,因此长为N的D元不等长码至多有： 3.2 解: 3.3 解: 3.4 解: 3.5解: （a）二元Huffman编码 （b）三元Huffman编码 注意：K=10为偶数，需要添一个概率为零的虚假符号 3.6解:二元Huffman编码 （a）二元Huffman编码 （b） （c）