信息论与编码考题标准答案.docVIP

信 息 论 与 编 码 考题与标准答案 第一题 选择题 1．信息是（ b ） a. 是事物运动状态或存在方式的描述 b.是事物运动状态或存在方式的不确定性的描述 c.消息、文字、图象 d.信号 2．下列表达式哪一个是正确的（e ） a. H(X/Y)=H(Y/X) b. c. d. e. H(XY)=H(X)+H(Y/X) 3．离散信源序列长度为L，其序列熵可以表示为（ b ） a. b. c. d. 4. 若代表信源的N维随机变量的取值被限制在一定的范围之内，则连续信源为（ c ），具有最大熵。 a. 指数分布 b. 正态分布 c. 均匀分布 d. 泊松分布 5．对于平均互信息，下列说法正确的是（ b ） a. 当一定时，是信道传递概率的上凸函数，存在极大值 b. 当一定时，是信道传递概率的下凸函数，存在极小值 c.当一定时，是先验概率的上凸函数，存在极小值 d.当一定时，是先验概率的下凸函数，存在极小值 6．当信道输入呈（ c ）分布时，强对称离散信道能够传输最大的平均信息量，即达到信道容量 a. 均匀分布 b. 固定分布 c. 等概率分布 d. 正态分布 7. 当信道为高斯加性连续信道时，可以通过以下哪些方法提高抗干扰性（b d ） a. 减小带宽 b. 增大发射功率 c. 减小发射功率 d.增加带宽 第二题 设信源 通过一干扰信道，接收符号为Y={y1,y2}，信道传递矩阵为 求： (1) 信源 X 中事件 x1 和 x2 分别含有的自信息量。 (2) 收到消息yj(j=1,2)后，获得的关于 xi(i=1,2)的信息量I(xi;yj)。 (3) 信源 X 和信宿 Y 的信息熵。 (4) 信道疑义度 H(X/Y) 和噪声熵 H(X/Y)。 (5) 接收到 Y 后获得的平均互信息量。 (1) 信源 X 中事件 x1 和 x2 分别含有的自信息量。 解：I(x1)= -log p(x1)= -log 0.4=1.32 (bit) I(x2)= -log p(x2)= -log 0.6=0.74 (bit) (2) 收到消息 yj(j=1,2) 后，获得的关于 xi(i=1,2) 的信息量。 解：p(y1/x1)=5/6 p(y2/x1)=1/6 p(y1/x2)=1/4 p(y2/x2)=3/4 p(x1y1)= p(x1)p(y1/x1)= 0.4?5/6=1/3 p(x1y2)= p(x1)p(y2/x1)= 0.4?1/6=0.0667 p(x2y1)= p(x2)p(y1/x2)= 0.6?1/4=0.15 p(x2y2)= p(x2)p(y2/x2)= 0.6?3/4=0.45 p(y1)= p(x1y1)+p(x2y1)=0.33+0.15=0.483 p(y2)= p(x1y2)+p(x2y2)=0.0667+0.45=0.517 I(x1; y1)==0.787bit (3) 信源 X 和信宿 Y 的信息熵 (4) 信道疑义度 H(X/Y) 和噪声熵 H(X/Y) (5) 接收到 Y 后获得的平均互信息量 第三题 有一个无记忆信源X＝X1X2X3， Xi ({0，1，2}，符号集中的各符号以等概率出现，写出该信源的数学模型并求信源的序列熵和平均符号熵 数学模型 序列熵 平均符号熵 第四题 一个二元二阶马尔可夫源，信源符号集A＝{0,1}。信源开始时，它以p(x1): p(0)=p(1)=0.5发出随机变量X1。然后，下一单位时间输出的随机变量X2与X1有依赖关系，他们的依赖关系由条件概率表示如表1. 再下一单位时间输出随机变量X3，X3依赖于前面二个变量X1和X2他们的依赖关系由条件概率p(x3︱x1x2)表示，如表2。以后任一时刻发出的随机变量Xi只与前面两个随机变量Xi-1Xi-2有关。表1 表2 0 1 0 0.3 0.4 1 0.7 0.6 解 ：设S0为初始态，S1:00；S2: 01; S3: 10; S4: 11 马尔可夫信源的状态转移图表示为： 状态转移矩阵：，符号条件矩阵 由稳态分布的公式 ， 解得 第五题 已知一信源包含8个符号，其出现的概率为p(X)＝{0.1，0.18, 0.4, 0.05, 0.06, 0.1, 0.07, 0.04} 该信源在每秒内发出1个符号，求该信源的熵及信息传输速