信息论与编码试题集概要.doc

信息论与编码试题集纲要 信息论与编码试题集纲要 PAGE / NUMPAGES 信息论与编码试题集纲要 1.在无失真的信源中，信源输出由 H(X) 来胸怀；在有失真的信源中，信源输出由 R(D) 来胸怀。 2. 要使通讯系统做到传输信息有效、靠谱和保密，一定第一 信源 编码， 而后 _____加密 ____编码，再 ______信道 _____编码，最后送入信道。 3. 带限 AWGN 波形信道在均匀功率受限条件下信道容量的基本公式，也就是出名的香农公 式是 C W log(1 SNR) ；当归一化信道容量 C/W 趋近于零时，也即信道完整丧失了通 信能力，此时 Eb/N0 为 -1.6 dB ，我们将它称作香农限，是全部编码方式所能达到的理论 极限。 4. 保密系统的密钥量越小，密钥熵 H(K )就越 小 ，其密文中含有的对于明文的信息量 I(M； C)就越 大 。 5. 设输入符号表为 X＝ {0 ， 1} ，输出符号表为 Y＝ {0 ， 1} 。输入信号的概率散布为 p＝ (1/2， 1/2)，失真函数为 d(0， 0) = d(1， 1) = 0 ， d(0， 1) =2 ， d(1 ，0) = 1 ，则 D min＝ 0 ， R(Dmin) ＝ 1bit/symbol ，相应的编码器转移概率矩阵 1 0 0.5 ， R(D max)＝ [p(y/x)] ＝ ；D max＝ 0 1 0 ，相应的编码器转移概率矩阵 [p(y/x)] ＝ 1 0 。 1 0 二、判断题 1. 能够用克劳夫特不等式作为独一可译码存在的判据。 （ ） 2. 线性码必定包括全零码。 （ ） 3. 算术编码是一种无失真的分组信源编码，其基本思想是将必定精度数值作为序列的 编码，是以此外一种形式实现的最正确统计般配编码。 （×） 4. 某一信源，不论它能否输出符号，只需这些符号拥有某些概率特征，就有信息量。 （×） 5. 失散安稳有记忆信源符号序列的均匀符号熵跟着序列长度 L 的增大而增大。 （×） 6. 限均匀功率最大熵定理指出对于有关矩阵必定的随机矢量 X ，当它是正态散布时具 有最大熵。 （ ） 7. 循环码的码集中的任何一个码字的循环移位还是码字。 （ ） 8. 信道容量是信道中能够传输的最小信息量。 （×） 9. 香农信源编码方法在进行编码时不需要早先计算每个码字的长度。 （×） 10. 在已知收码 R 的条件下找出可能性最大的发码Ci 作为译码预计值，这类译码方 法叫做最正确译码。 （ ） 三、计算题 某系统（ 7， 4）码 c (c6 c5 c4 c3 c2 c1 c0 ) (m3 m2 m1 m0 c2 c1 c0 ) 其三位校验 位与信息位的关系为： c2 m3 m1 m0 c1 m3 m2 m1 c 0 m2 m1 m0 1）求对应的生成矩阵和校验矩阵； 2）计算该码的最小距离； 3）列出可纠差错图案和对应的陪伴式； 4）若接收码字 R=1110011，求发码。 1 0 0 0 1 1 0 1 0 1 1 1 0 0 0 1 0 0 0 1 1 解： 1. 1 1 1 0 0 1 0 G 0 1 0 1 1 H 0 1 0 1 1 1 0 0 1 0 0 0 1 1 0 1 dmin=3 S E 0000000 0000001 0000010 0000100 0001000 0010000 0100000 1000000 RHT=[001]接收犯错 E=0000001 R+E=C = 1110010 ( 发码 ) 四、计算题 已知 X ,Y 的结合概率 p x, y 为： 求H X ，H Y ，H X,Y ，I X;Y 解 : p( x 0) 2 / 3 p(x 1 ) 1 / 3 p( y 0) 1/ 3 p( y 1) 2 / 3  X Y 0 1 0 1/3 1/3 1 0 1/3 H X H Y H (1/ 3,2 / 3) 0.918 bit/symbol H X ,Y H (1/ 3,1/ 3,1/ 3) =1.585 bit/symbol I X ;Y H ( X ) H (Y ) H ( X ,Y ) 0.251 bit/symbol 六、计算题 X x1 x 2 ，每秒钟发出 2.55 个信源符号。 如有一信源 0.8 0.2 P 将此信源的输出符号送入某一个二元信道中进行传输 （假定信道是无噪无损的，容量为 1bit/ 二元符号）， 而信道每秒钟只传达 2 个二元符号。 （1） 试问信源不经过编码（即 x1 0,x 2 1 在信道中传输） 2） 可否直接与信道连结？ 3） 若经过合适编码可否在此信道中进行无失真传输？ 4） 试结构