信息论与编码J.doc

信息论与编码J 一 填空题（本题15空，每空1分，共15分 ） 1 设在一8行×8列共64个方格的正方形棋盘上，甲随意将一粒棋子放在棋盘的某个方格，让乙猜测棋子所在的位置。如将方格按顺序编号，则令乙猜测棋子所在方格顺序号的信息量为（ ）bit；如方格按行和列编号，甲将棋子所在方格的行编号告诉乙后，在令乙猜测棋子所在列所需的信息量为（ ）bit。 2 信源熵用来表征信源的（），平均自信息量是（）的量度；平均互信息量I(X;Y)的物理含义是（），I(Y;X)的物理含义是（ ）。 3 传输信道中常见的错误有（）、（）和混合错误三种；差错控制方式主要有（ ）、（ ）和混合方式三种。 4 设C = {11100, 01001, 10010, 00111}是一个二元码，该码的最小距离dmin=（），则该码最多能检测出（）个随机错，最多能纠正（）个随机错。 真矩阵[dij]=（），平均失真D=（ ）。 二 判断题（本题10小题,每小题1分,共10分） 对于独立信源，不可能进行预测编码。 （） （3） 一般情况下，互信息满足：0≤I(X;Y) ≤min(H(X),H(Y))。（ ） （4） 码字集合{100，101，0，11}是唯一可译码。（ ） （7） 对于强对称信道，只有当信源等概分布时，才能使其达到信道容量C。（ ） （8） 二维离散平稳有记忆信源的熵满足：H(X1,X2)≤H(X1)+H(X2)。 （ ） （9） 线性分组码中任意两个码字的模2加仍为一个有用码字。（ ） （10）马尔可夫序列的联合概率具有时间推移不变性。（ ） 三 名词解释（本题4小题，每小题5分，共20分） 1 噪声熵 2 即时码 3 马尔可夫信源 4 信道容量 四 计算题（本题3小题，共25分） 1 设有离散无记忆信源X，其概率分布为P（X）={0.37，0.25，0.18，0.12，0.05，0.03}，求：1）信源符号熵H(X)； 2）用哈夫曼编码编成二元变长码，并计算其编码效率； 3）如要求译码错误小于10-3，采用定长编码达到2）中的编码效率，需要多少个信源符号一起编码？ （3+4+4=11分） 2 设C = 是一个二元码。试： 1）计算码C中所有码字之间的距离及最小距离； 2）在一个二元码中，如果把某一个码字中的0和1互换，即0换为1，1换为0，所得的字称为此码字的补。所有码字的补构成的集合称为此码的补码。求码C的补码以及补码中所有码字之间的距离和最小距离，它们与1）中的结果有什么关系？ 3）试将2）中的结果推广到一般的二元码。（2*3=6分）  五 综合题（本题3小题，共30分） 2 设某卷积码的转移函数矩阵为G（D）=（1+D，1+D2）， 1）试画出该卷积码的编码器结构图； 2）求该卷积码的状态图； 3）求该码的自由距离df。（3+4+3=10分） 3 一个二进制二阶马尔可夫信源的原始信源为X∈{0,1}，这时的状态空间为S：{S1=00，S2=01，S3=10，S4=11}，共有nm=22=4个不同的状态。已知其一步转移概率为： 0/00 00 P(0/00) p(0/S1) p(S1/S1)=0.8 1/00 01 P(1/00) p(1/S1) p(S2/S1)=0.2 0/01 10 P(0/01) p(0/S2) p(S3/S2)=0.5 1/01 11 P(1/01) p(1/S2) p(S4/S2)=0.5 0/10 00 P(0/10) p(0/S3) p(S1/S3)=0.5 1/10 01 P(1/10) p(1/S3) p(S2/S3)=0.5 0/11 10 P(0/11) p(0/S4) p(S3/S4)=0.2 1/11 11 P(1/11) p(1/S4) p(S4/S4)=0.8 试求：1）该马尔可夫信源的状态图； 2）各状态的极限概率； 3）该信源的极限熵H∞。（4+4+4=12分）