信息论基础及答案.docVIP

PAGE 《信息论基础》试卷第PAGE 1页 《信息论基础》试卷答案 一、填空题（共25分，每空1分） 1、连续信源的绝对熵为 无穷大。（或） 2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 3、无记忆信源是指 信源先后发生的符号彼此统计独立 。 4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用 短 码，对概率小的符号用 长 码，这样平均码长就可以降低，从而提高 有效性(传输速率或编码效率) 。 5、为了提高系统的有效性可以采用 信源编码 ，为了提高系统的可靠性可以采用 信道编码 。 6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号 。 7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为 高斯分布(或或)时，信源具有最大熵，其值为 0.6155hart(或1.625bit或)。 8、即时码是指 任一码字都不是其它码字的前缀 。 9、无失真信源编码定理指出平均码长的理论极限值为 信源熵(或Hr(S)或)，此时编码效率为 1 ，编码后的信息传输率为 lgr bit/码元 。 10、一个事件发生的概率为0.125，则自信息量为 3bit/符号 。 11、信源的剩余度主要来自两个方面，一是 信源符号间的相关性 ，二是 信源符号概率分布的不均匀性 。 12、m阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 qm 个不同的状态。 13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特，当得知“面朝上点数之和为8”所获得的信息量为 14.在下面空格中选择填入的数学符号“=，≥，≤，”或“” H(XY) = H(Y)+H(X∣Y) ≤ H(Y)+H(X) 二、(5分)已知信源的概率密度函数为，计算信源的相对熵。 3分 bit/自由度2分 三、(10分)一个平均功率受限的连续信道，信道带宽为1MHz，信道噪声为高斯白噪声。 (1)已知信道上的信号与噪声的平均功率比值为20，计算该信道的信道容量。 (2)如果信道上的信号与噪声的平均功率比值降为10，要达到相同的信道容量，信道带宽应为多少？ (3)如果信道带宽降为0.5MHz，要达到相同的信道容量，信道上的信号与噪声的平均功率比值应为多少？ 1) 3分 b/s1分 2) Hz3分 3) =4403分 四、(16分)已知信源共7个符号消息，其概率空间为 试用霍夫曼编码法编成二进制变长码。并计算信源熵、平均码长、编码后的信息传输率、编码信息率和编码效率。要求写出详细的编码过程和计算过程。 6分 位2分 bit/符号2分 bit/码字2分 2分 bit/码元2分 五、(16分)设一个离散无记忆信源的概率空间为 它们通过干扰信道，信道输出端的接收符号集为Y =[b1,b2]，已知信源传输概率如下图所示。 试计算： (1)信源X中事件x1和x2分别含有的自信息量；(2分) (2)收到yj(j=1,2)后，获得的关于x1的信息量；(2分) (3)信源X的信息熵；(2分) (4)条件熵H(Y∣x1)，H(Y∣x2)；(2分) (5)共商H(XY)、信道疑义度H(X∣Y)和噪声熵H(Y∣X)；(6分) (6)收到消息Y后获得的关于信源X的平均信息量。(2分) (1)I(x1)=-log0.5=1bit1分 I(x2)=-log0.5=1bit1分 (2)I(x1;y1)=lg0.831/0.5(或=lg0.98/0.59)=0.7331分 I(x1;y2)=lg0.024/0.5(或=lg0.02/0.41)=-4.381分 (3)H(x)=H(0.5,0.5)=1bit/符号2分 (4)H(y︱x1)=H(0.98,0.02)=0.142bit/符号1分 H(y︱x2)=H(0.8,0.2)=0.722bit/符号1分 (5)H(y)=H(0.59,0.41)=0.977 H(xy)=H(0.49,0.01,0.1,0.4)=1.432bit/二符号2分 H(x︱y)=H(xy)-H(y)=0.455bit/符号2分 H(y︱x)=H(xy)-H(x)=1.432-1=0.432bit/符号2分 (6)I(x;y)=H(x)+H(y)-H(xy)=0.545bit/符号2分 六、