信息论编码习题及详解 练习-2009.docVIP

练习一： 1、设离散无记忆信源。其发出的消息为（212 100 101 212 000 011 121 010）。求（1）此消息的自信息。（2）此消息中平均每个符号所携带的信息量。 解： （1）自信息 比特 （2）平均每个符号所携带的信息量 I24 = I/N=38/24=1.583比特/符号 2、设一离散信源X，p(x1)=1/2，p(x3)= p(x2)=1/4，p(x3)=1/2。通过信道传输，已知条件概率如右表所列。计算H(X)和I(X,Y) 解： 且所以 则输出的概率分布为： 3、若有一个准对称信道，其信道转移矩阵为： 试求信道容量。（log3=1.5850） 解：由于信道为对称信道，当输出为等概率分布时达到信道容量。 则 练习二： 1、设一离散信源X，p(x1)=1/4，p(x2)=3/4。通过信道传输， 已知信道的概率转移矩阵如右所列。求（1）H(X)和I(X,Y)。（2）该信道的信道容量。（15分） 解：(1) (2) 该信道为对称信道,当输入输出均为等概率时,达到信道容量. 2、一个离散无记忆信源输出符号等概率，失真函数如右所示： 求（1）Dmin和Dmax。（2）信息率失真函数R（D）。 解：（1） (2) 因为信源是等概率,且失真矩阵有对称性,则可设: A+B=1所以B=1-A 则 所以 练习三： 1、设有一离散无记忆信源： 求（1）二元香农编码及编码效率（2）二元费诺编码及编码效率（3）二元哈夫曼编码及编码效率（4）三元哈夫曼编码及编码效率 解：H（X）=2.5099 (1) 符号 概率 累加概率 二进制数 -LogP 码长 码字 U1 0.29 0 0.000 1.7859 2 00 U3 0.17 0.29 0.0100 2.5564 3 010 U2 0.15 0.46 0.0111 2.737 3 011 U4 0.14 0.61 0.1001 2.836 3 100 U5 0.13 0.75 0.1100 2.9434 3 110 U6 0.12 0.88 0.11100 3.0589 4 1110 平均码长=2.83 ；效率=2.5099/2.83=0.8869 （2） 符号 概率 第一次 第二次 第三次 码长 码字 U1 0.29 0 0 2 00 U3 0.17 1 2 01 U2 0.15 1 0 0 3 100 U4 0.14 1 3 101 U5 0.13 1 0 3 110 U6 0.12 1 3 111 平均码长=2.54； 效率=2.5099/2.58=0.988 （3） U1 0.29 0.29 0.29 0.42 0.58 0 1 00 2 U3 0.17 0.25 0.29 0.29 0 0.42 1 11 2 U2 0.15 0.17 0.25 0 0.29 1 010 3 U4 0.14 0.15 0 0.17 1 011 3 U5 0.13 0 0.14 1 100 3 U6 0.12 1 101 3 平均码长=2.54； 效率=2.5099/2.58=0.988 (4) U1 0.29 0.29 0.46 0 1 1 U3 0.17 0.25 0.29 1 00 U2 0.15 0.17 0 0.25 2 01 U4 0.14 0.15 1 02 U5 0.13 0 0.14 2 20 U6 0.12 1 21 U7 0 2 2、设有一离散无记忆信源（0，1），其p0=1/4，p1=3/4。试对序行算术编码。 解： P（0）=0；P（1）= p0=1/4 平均码长=7/8