信息论与编码试卷J.doc

填空题（本题15空，每空1分，共15分） 设在一8行×8列共64个方格的正方形棋盘上，甲随意将一粒棋子放在棋盘的某个方格，让乙猜测棋子所在的位置。如将方格按顺序编号，则令乙猜测棋子所在方格顺序号的信息量为（log264=6 ）bit；如方格按行和列编号，甲将棋子所在方格的行编号告诉乙后，在令乙猜测棋子所在列所需的信息量为（ 3 ）bit。 信源的平均自信息量指的是（ 平均每个符号所能提供的信息量 ）；信源熵用来表征信源的（ 平均不确定度 ）；平均互信息量I(X;Y)的物理含义是（Y已知后所获得的关于X的信息 ），I(Y; X)的物理含义是（ X已知后所获得的关于Y的信息 ）。 传输信道中常见的错误有（随机错误）、（突发错误）和混合错误三种；差错控制方式主要有（ 检错重发 ）、（ 前向纠错 ）和混合方式三种。 设C = {11100, 01001, 10010, 00111}是一个二元码，该码的最小距离dmin=（3），则该码最多能检测出（2）个随机错，最多能纠正（1）个随机错。 设有一个二元等概信源：u={0，1}，P0=P1=1/2，通过一个二进制对称信道BSC，其失真函数dij与信道转移概率Pji=p(vj/ui)分别定义为，，则失真矩阵[dij]=（ ），平均失真D=（ ）。 判断题（本题10小题,每小题1分,共10分） 1．√ 2．× 3．√ 4．√ 5．× 6．× 7．√ 8．√ 9．√ 10．× 对于独立信源，不可能进行预测编码。 （ ） 信息率失真函数的意义是：对于给定的信源，在满足保真度准则的前提下，信息率失真函数R(D)是信息率允许压缩到的最大值。 （ ） 一般情况下，互信息满足：0≤I(X;Y) ≤min(H(X),H(Y))。 （ ） 码字集合{100，101，0，11}是唯一可译码。 （ ） 互信息量≥0，即具有非负性。 （ ） 若要求发现n个独立随机错误，则要求最小码距。 （ ） 对于强对称信道，只有当信源等概分布时，才能使其达到信道容量C。 （ ） 二维离散平稳有记忆信源的熵满足：H(X1,X2) ≤H(X1)+H(X2)。 （ ） 线性分组码中任意两个码字的模2加仍为一个有用码字。 （ ） 马尔可夫序列的联合概率具有时间推移不变性。 （ ） 三 名词解释（本题4小题，每小题5分，共20分） 1 噪声熵 如将X看作发出符号集，Y看作接收符号集，条件熵H(Y/X)描述了惟一地确定信道噪声所需要的平均信息量，所以称之为噪声熵或散步度。 2 即时码 又称非延长码，任意一个码字都不是其他码字的前缀部分，也称异前缀码。 3 马尔可夫信源 信源输出的符号序列和状态序列满足下述条件则称此信源为马尔可夫信源：1）某一时刻信源的输出仅与信源的当前状态有关；2）信源的状态只由当前的输出符号和前一时刻信源状态唯一确定。 4 信道容量 对于某特定信道，若转移概率p(yj/xi)已经确定，则互信息就是关于输入符号分布概率p(xi)的∩型凸函数，此时可找到某种概率分布p(xi)，使I(X;Y)达到最大，该最大值就是信道所能传送的最大信息量。 四 计算题（本题3小题,共25分） 1 设有离散无记忆信源X，其概率分布为P（X）={0.37，0.25，0.18，0.12，0.05，0.03}，求：1）信源符号熵H（X）； 2）用哈夫曼编码编成二元变长码，并计算其编码效率； 3）如要求译码错误小于10-3，采用定长编码达到2）中的编码效率，需要多少个信源符号一起编码？ （3+4+4=11分） 解：1）=2.22 bit/符号 2） 两个小概率相加后，得到的概率重新排序，上分支编码为0，下分支编码为1。得到整个信源编码如上所述。 平均码长 =2.58 编码效率 3）设采用定长二元码有： 编码效率为86.1% 即 按译码错误10-3有，个，所以，需要个信源符号一起编码，才可以达到86.1%的编码效率。 2 设C = 是一个二元码。试： 1）计算码C中所有码字