信息论与编码试卷F.doc

填空题（本题15空 ,每空1分,共15分 ） 联合熵H(X,Y)的定义为（ ），表示的是联合事件的（ 平均不确定性 ），它与H(X)和H(Y)之间的大小关系是（ H(X,Y)≤H(X)+H(Y) ），等号在（ X与Y统计独立 ）时成立。 设有一离散无记忆信源X，其概率空间为，则该信源熵=（ 1.5 ）比特/符号；若将该信源进行二次扩展，即形成新的符号系列{a1a1,a1a2,a1a3,a2a1,a2a2,a2a3,a3a1,a3a2,a3a3}，则二次扩展信源熵=（ 3 ）比特/符号序列。两者的关系为（二次扩展信源熵=2×原始信源熵）。 无失真信源编码的要求主要有2个：（精确地复现信源的输出）和（保证信源的全部信息无损的送给信宿）。 最小码距dmin是衡量一种码的检、纠错能力的重要参数，最小码距越（ 大 ），其纠、检错能力越（ 强 ），具体描述为（检错能力+纠错能力dmin-1）。 纠错编码中，可以采取（增大信道容量 ）、（减小码率 ）和（ 增大码长 ）等措施减小差错概率。 判断题（本题10小题,每小题1分,共10分） 1．× 2．√ 3．× 4．√ 5．× 6．× 7．√ 8．× 9．× 10．√ 条件熵总是小于无条件熵。 （ ） 噪声均化就是让差错随机化，可通过卷积的方法使噪声分摊到码字序列上，而不是一个码字上，从而使噪声均化。 （ ） 当信道固定时，平均互信息是信源分布的∪型凸函数。 （ ） 线性分组码的最小码距等于非零码字的最小码重。 （ ） 对于任一信源X，其信源熵H(X)〉0。 （ ） 率失真函数R(D)的定义域为[0，H（X）]。 （ ） 哈夫曼编码是用概率匹配方法进行的信源编码方法。 （ ） 事件xi和事件yj之间的互信息量具有非负性，并且具有对称性。 （ ） 条件熵H（X|Y）可以衡量信号通过信道后损失信息量的多少；H（Y|X）表示收到全部输出符号后，对信道输入符号集尚存在的平均不确定性。 （ ） 设（7，4）循环码的生成多项式为g(x)=x3+x+1，当接收码字为0010011时，接收码字中有错。 （ ） 三 名词解释（本题4小题,每小题5分,共20分） 1 对称DMC信道 DMC信道中，信道的转移概率矩阵P的每行都是第一行的置换，每列都是第一列的置换，即输入和输出都是对称的，称为对称DMC信道。 2 延长码 又称非即时码，接收端收到一个完整的码字后，不能立即译码，还需要等下一个码字开始接收后才能判断是否可以译码，这种码称为延长码。 3 信息率失真函数 当p(xi)一定时，互信息I(X;Y)是关于p(yj/xi)的∪型凸函数，存在极小值，这个极小值被定义为信息率失真函数。 4 前向纠错FEC 发送端发送能纠正错误的编码，在接收端根据接收到的码和编码规则，能自动纠正传输中的错误。 四 计算题（本题3小题,共25分） 1 设以8000样值/s的速率抽样一语音信号，并以M=256级队抽样均匀量化，设抽样值取各量化值的概率相等，且抽样间相互统计独立，求： 1）每抽样的信息熵； 2）信源的信息输出率。 (3+3=6分) 解：1）因256级量化值概率相等，且抽样间相互统计独立，则 2）信源的信息输出率为： R=rH(X)=8000*8=6.4*104bps 2 某六进信源进行二进编码如下表： 符号 概率 C1 C2 C3 a1 1/2 0 1 01 a2 1/4 10 000 001 a3 1/16 1100 001 100 a4 1/16 1110 010 101 a5 1/16 1011 110 110 a6 1/16 1101 101 011 请问：C1、C2和C3码中，那些是唯一可译码？请写出判断方法。（9分） 答：C1：不满足克劳夫特不等式，所以肯定不是唯一可译码； C2、C3是唯一可译码； 判断方法：看码的后缀分解集不包含码字，则该码为唯一可译码。 3 一个系统线性分组码的码字由下式确定