《信息论基础》试卷(期末)(B2卷).doc

试题编号： 重庆邮电大学2008/2009学年2学期 《信息论基础》试卷（期末）（B卷）（开卷） 题 号 一 二 三 四 五 六 七 总 分 得 分 评卷人 一、填空题（共25分，每空1分） 1、连续信源的绝对熵为。 2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到。 3、无记忆信源是指。 4、离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用码，对概率小的符号用码，这样平均码长就可以降低，从而提高。 5、为了提高系统的有效性可以采用，为了提高系统的可靠性可以采用。 6、八进制信源的最小熵为，最大熵为。 7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为 时，信源具有最大熵，其值为。 8、即时码是指。 9、无失真信源编码定理指出平均码长的理论极限值为，此时编码效率为，编码后的信息传输率为。 10、一个事件发生概率为0.125，则自信息量为。 11、信源的剩余度主要来自两个方面，一是， 二是。 12、m阶马尔可夫信源的记忆长度为，信源可以有个不同的状态。 13、同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 比特，当得知“面朝上点数之和为8”所获得的信息量为比特。 14、在下面空格中选择填入数学符号“，，，”或“” 。 二、（5分）已知信源的概率密度函数为 ， 计算信源的相对熵。 三、（10分）一个平均功率受限的连续信道，信道带宽为1MHz，信道噪声为高斯白噪声。 （1）已知信道上的信号与噪声的平均功率比值为20，计算该信道的信道容量。 （2）如果信道上的信号与噪声的平均功率比值降为10，要达到相同的信道容量，信道带宽应为多少？ （3）如果信道带宽降为0.5MHz，要达到相同的信道容量，信道上的信号与噪声的平均功率比值应为多少？ 四、（16分）一个离散无记忆信源 1) 求和冗余度； 2) 编成Fano码，计算编码效率； 3) 编成Huffman码，计算编码效率 五、（１6分）设一个离散无记忆信源的概率空间为 它们通过干扰信道，信道输出端的接收符号集为，已知信道传输概率如下图所示。 试计算： （1）信源中事件和分别含有的自信息量；（２分） （2）收到信息后，获得的关于的信息量；（２分） （3）信源的信息熵；（２分） （4）条件熵，；（２分） （5）共熵、信道疑义度和噪声熵；（６分） （6）收到消息后获得的关于信源的平均信息量。（２分） 六、（１２分）设某信道的传递矩阵为 （1）若输入符号 ，，求和。 （2）计算该信道的信道容量，并说明达到信道容量的最佳输入概率分布。 七、（16分）有一个二元二阶马尔可夫信源，其信源符号集为{0，1}，初始概率大小为，。条件概率定为 （1） 画出该信源的状态转移图。 （2） 计算达到稳定后状态的极限概率。 （3） 该马尔可夫信源的极限熵。 （4） 计算达到稳定后符号0和1的概率分布。 《信息论基础》试卷答案 一、填空题（共25分，每空1分） 1、连续信源的绝对熵为无穷大。（或 ） 2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到1。 3、无记忆信源是指信源先后发生的符号彼此统计独立。 4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用短码，对概率小的符号用长码，这样平均码长就可以降低，从而提高有效性(传输速率或编码效率)? ? ? ? ? ? ? ? 。 5、为了提高系统的有效性可以采用信源编码，为了提高系统的可靠性可以采用信道编码。 6、八进制信源的最小熵为0，最大熵为3bit/符号。 7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为 高斯分布(或或)时，信源具有最大熵，其值为? 0.6155hart(或1.625bit或)。 8、即时码是指任一码字都不是其它码字的前缀。 9、无失真信源编码定理指出平均码长的理论极限值为信源熵(或Hr(S)或)，此时编码效率为? 1? ，编码后的信息传输率为? lgr? bit/码元。 10、一个事件发生的概率为0.125，则自信息量为? 3bit/符号。 11、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号概率分布的不均匀性。 12、m阶马尔可夫信源的记忆长度为? m 1? ? ，信源可以有? ? qm个不同的状态。 13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为? ? lg36=5.17? ? ? 比特，当得知“面朝上点数之和为8”所获得的信息量为? ? lg36/5=2.85? ? 比特。 14.在下面空格中选择填入的数学符号“=，≥，≤，”或“” H(XY)=H(Y) H(X∣Y)≤H(Y