信息论试卷三.docVIP

一 、填空题（每空2分，共2×10分） 1.平均互信息量I(X;Y)与信源熵和条件熵之间的关系是____。 。 1.设C = {000000, 001011, 010110, 011101, 100111, 101100, 110001, 111010}是一个二元线性分组码，则该码最多能检测出随机，则此信道在其输入端的信源分布为P(X)={1/2,1/2}时传输的信息量达到最大值。 （ ） 离散无记忆序列信源中平均每个符号的符号熵等于单个符号信源的符号熵。 （ ） 4.非奇异的定长码一定是唯一可译码。 （ ） 5.信息率失真函数R(D)是在平均失真不超过给定失真限度D的条件下，信息率容许压缩的最小值。 （ ） 三 、简答题（每道5分，共20分） 1.写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。.解释无失真变长信源编码定理。.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？ 1.设随机变量和的联合概率空间为 定义一个新的随机变量(普通乘积) 计算熵H（X），H（Y），H（Z），H（XZ），H（YZ），以及H（XYZ）； 计算条件熵 H（X|Y），H（Y|X），H（X|Z），H（Z|X），H（Y|Z），H（Z|Y），H（X|YZ），H（Y|XZ）以及H（Z|XY）； 计算平均互信息量I（X；Y），I（X：Z），I（Y：Z），I（X；Y|Z），I（Y；Z|X）以及I（X：，Z|Y）。 2. 设一个离散无记忆信源的概率空间为，它们通过干扰信道，信道矩阵为。信道输出符号集，试计算： （1）信源X的信息熵；（2分） （2）收到信息y2后，获得关于x1的信息量；（2分） （3） 共熵H(XY)；（2分） （4）信道疑义度H(X|Y);(2分) （5） 收到消息Y后获得的关于信源X的平均信息量。（2分） 3．信源空间为试分别构造二元霍夫曼码，计算其平均码长和编码效率。