信息论与编码期末考试题.docx

(一) 、判断题 TOC \o 1-5 \h \z 当随机变量X和Y相互独立时，条件熵 H(XlY)等于信源熵H(X). () 由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集 () —般情况下，用变长编码得到的平均码长比定长编码大得多 () 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信 () 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件 .() 连续信源和离散信源的熵都具有非负性 ( 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确 定性就越小，获得的信息量就越小 . 汉明码是一种线性分组码 . () 率失真函数的最小值是 O . ( 必然事件和不可能事件的自信息量都是 0. () 二、填空题 1、 码的检、纠错能力取决于 . 2、 信源编码的目的是 ;信道编码的目的是 . 3、 把信息组原封不动地搬到码字前 k位的(n,k)码就叫做 . 4、 香农信息论中的三大极限定理是 、 、 . 5、 设信道的输入与输出随机序列分别为 X和Y ,则I(XN,Y N) NI(X,Y)成立的 条件 .. 6、 对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是 . X 0 1 0 a 7、 某二元信源 ，其失真矩阵D ,则该信源的DmaX= P(X) 1/2 1/2 a 0 三、计算题. 1、某信源发送端有2种符号Xi (i 1,2) , p(X1) a ；接收端有3种符号yi (j 1,2,3)，转移概率矩阵为 1/2 1/2 0 P . 1/2 1/4 1/4 计算接收端的平均不确定度 H(Y)； 计算由于噪声产生的不确定度 H(YIX)； 计算信道容量以及最佳入口分布 . 一、填空题 1、 信源编码的主要目的是 ,信道编码的主要目的是 。 2、 信源的剩余度主要来自两个方面，一是 ,二是 3、 三进制信源的最小熵为 ,最大熵为 。 4、无失真信源编码的平均码长最小理论极限制为 5、 当 时，信源与信道达到匹配。 6、 根据信道特性是否随时间变化，信道可以分为 和 7、 根据是否允许失真，信源编码可分为8、 若连续信源输出信号的平均功率为 7、 根据是否允许失真，信源编码可分为 8、 若连续信源输出信号的平均功率为 值 。 9、 在下面空格中选择填入数学符号“ 和 2,则输出信号幅度的概率密度是 ”或“ ” 时，信源具有最大熵，其值为 ”或“ ”,,, 或=H(X)+H(X/Y)=H(Y)+H(X) ”或“ ” ,,, 或 =H(X)+H(X/Y)=H(Y)+H(X) (2) H2 X H X1X2 H3 X H X1X2X3 (1)当X和Y相互独立时, (1)当X和Y相互独立时, 《信息论基础》参考答案 一、填空题 1、 信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 2、 信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符 3、 三进制信源的最小熵为 0 ,最大熵为Iog2当X和Y相互独立时， 当X和Y相互独立时，H (XY) 4、 无失真信源编码的平均码长最小理论极限制为信源熵(或 H(S)/Iogr= H r(S))) 5、 当R=C或(信道剩余度为 0)时，信源与信道达到匹配。 (三) 选择题 1、有一离散无记忆信源X,其概率空间为X 1、有一离散无记忆信源 X,其概率空间为 X1 X2 0.5 0.25 X3 X4 0.1250.125 ，则其无记忆二次扩展信源的熵 H(X9、在下面空格中选择填入数学符号“)=( 9、在下面空格中选择填入数学符号“ A 1.75比特/符号； B 、3.5比特/符号; C 9比特/符号； D 、18比特/符号。 P(y〃x) P(y2∕χ) 0 0 0 0 2、信道转移矩阵为 0 0 P(y3∕ 冷) P(y√χ2) 0 0 ,具中P(yj∕χ)两两不相等，则 0 0 0 0 PD P(y3/χ3) 该信道为 A 对应的无噪信道 B具有并归性能的无噪信道 C对称信道 D具有扩展性能的无噪信道 3、设信道容量为C,下列说法正确的是：() A、互信息量一定不大于C B交互熵一定不小于C C有效信息量一定不大于C D条件熵一定不大于C 4、在串联系统中，有效信息量的值( ) A趋于变大 B趋于变小 C不变 D不确定 5、若BSC信道的差错率为P,则其信道容量为：() H P Iog 2 Iog 2 P P1 P PIog(P) 、填空题 1、 (7,4)线性分组码中，接受端收到分组 R的位数为 ,伴随式S可能的值有 种,差错图案e 的长度为 ,系统生成矩阵GS为 行的矩阵，系统校验矩阵H