信息论总复习题目.doc

PAGE 二、(5分)已知信源的概率密度函数为，计算信源的相对熵。 3分 bit/自由度2分 三、(10分)一个平均功率受限的连续信道，信道带宽为1MHz，信道噪声为高斯白噪声。 (1)已知信道上的信号与噪声的平均功率比值为20，计算该信道的信道容量。 (2)如果信道上的信号与噪声的平均功率比值降为10，要达到相同的信道容量，信道带宽应为多少？ (3)如果信道带宽降为0.5MHz，要达到相同的信道容量，信道上的信号与噪声的平均功率比值应为多少？ 1) 3分 b/s1分 2) Hz3分 3) =4403分 四、(16分)已知信源共7个符号消息，其概率空间为 试用霍夫曼编码法编成二进制变长码。并计算信源熵、平均码长、编码后的信息传输率、编码信息率和编码效率。要求写出详细的编码过程和计算过程。 6分 位2分 bit/符号2分 bit/码字2分 2分 bit/码元2分 五、(16分)设一个离散无记忆信源的概率空间为 它们通过干扰信道，信道输出端的接收符号集为Y =[b1,b2]，已知信源传输概率如下图所示。 试计算： (1)信源X中事件x1和x2分别含有的自信息量；(2分) (2)收到yj(j=1,2)后，获得的关于x1的信息量；(2分) (3)信源X的信息熵；(2分) (4)条件熵H(Y∣x1)，H(Y∣x2)；(2分) (5)共商H(XY)、信道疑义度H(X∣Y)和噪声