信息论试卷(有答案).doc

一 、填空题（每空2分，共2×10分） 1． 2．已知事件xi发生的统计概率为p，如果事件xi未发生，则-logp称为事件xi的 不确定度 ，如果事件xi已经发生，则-logp称为事件xi的 自信息量 3．在信道编码中，根据信息码元和监督码元的函数关系，可分为 线性码 和 非线性码 。 4．在信源编码中，根据码字所含的码元的个数是否相同，码字可分为 等长码 码和 变长码 编码。 5. 对于有m个信源符号的离散无记忆信源，当信源X服从 均匀 分布时，其熵达到最大。最大熵值为 logm 。 二 、判断题（每个2分，共10分） 1．√ ） 2．已经确定的事物有可能含有信息。（ × ） 3．信息论研究的主要内容是在通信系统中如何实现有效性和可靠性。（ √ ） 4．自信息量是从平均意义上来表征信源的总体信息测度的一个量。（ × ） 5．信源编码的目的是为了提高信息传输的可靠性。（ × ） 三 、简答题（6+10，共16分） 1．什么是即时码？即时码存在的充要条件是什么？ 即时码（非续长码）：收到一个码字就能译出，不必等待与观察后面接收的是什么符号。 （1）即时码存在的充要条件（从结构上）：即时码中任何一个码字都不能是另一个码字的开头（前缀），或者说任何一个码字都不能是另一个码字的延续（延长），因而这种码又称为非续长码。 （2）即时码存在的充要条件（从码长上）：存在N个码长为ni（i=1,2,…,n）的即时码的充要条件是 (D是编码符号集中符号的数目，即编码采用的进制） 2．简述单符号离散无记忆信源的定长编码定理和变长编码定理。 定长编码定理：一个熵为H(X)的离散无记忆信源X1X2…Xl…XL，若对信源长为L的符号序列进行定长编码，设码字是从m个信源符号集内，选取K个码元组成Y1Y2…Yk…YK。对于任意ε0，δ0只要满足 (K/L)log2m≥H(X)+ε 则当L足够大时，必可使译码差错小于δ，即译码错误概率能为任意小。反之，若 (K/L)log2m≤H(X)-2ε 则不可能实现无失真编码，而当L足够大时，译码错误概率近似等于1。 因为(K/L)log2m=R就是信息率，因此可以理解为只要R≥H(X)则可以实现无失真编码。反之亦然。 变长编码定理： 若单符号离散无记忆信源的平均符号熵为H(X)，对信源符号进行m元变长编码，一定存在一种无失真编码方法，其码字平均长度 满足下列不等式 四、计算题（20+20+14） 1．一个二进信源X发出符号集{0,1},经过离散无记忆信道传输,信道输出用Y表示,由于信道中存在噪声,接收端除收到0和1的符号外,还有不确定符号“2”。已知X的先验概率: p(x0)=2/3, p(x1)= 1/3, 符号转移概率： p(y0|x0)=3/4, p(y2|x0)=1/4 p(y1|x1)=1/2, p(y2|x1)=1/2 求解： 信源熵H(X)(2分) 计算X,Y的联合概率（6分） （3）计算条件熵H(Y|X)（2分） （4）计算联合熵H(X,Y)（2分） （5）给出信宿Y的概率空间模型（4分） （6）计算信宿熵H(Y)(2分) （7）计算平均互相信息I(X;Y)（2分） 解:(1) (2)由,得联合概率: p(x0y0) = p(x0) p(y0 |x0) = 2/3×3/4 = 1/2 p(x0y1) = p(x0) p(y1 |x0) = 0 p(x0y2) = p(x0) p(y2 |x0) = 2/3×1/4 = 1/6 p(x1y0) = p(x1) p(y0 |x1) = 0 p(x1y1) = p(x1) p(y1 |x1) = 1/3×1/2=1/6 p(x1y2) = p(x1) p(y2 |x1) = 1/3×1/2=1/6 (3)条件熵: (4)条件联合熵: H(X,Y)H(X)＋H(Y|X)=1.8bit/符号 由 p(y0) =∑ p(xiy0) = p(x0y0) +p(x1y0) =1/2+0 = 1/2 p(y1) =∑ p(xiy1) = p(x0y1) +p(x1y1) = 0+1/6 =1/6 p(y2) =∑ p(xiy2) = p(x0y2) +p(x1y2) = 1/6+1/6=1/3 由 得 同理 p(x0 |y1)=0 ； p(x1 |y1)=1 p(x0 |y2)=1/2； p(x1 |y2)=