信息论试题3.docVIP

《信息论基础》试卷答案 一、填空题（共20分，每空1分） 1、通信系统中，编码的主要目的有两个，分别是提高有效性和可靠性。 2、离散无记忆信源存在剩余度的原因是分布不等概。 3、当信源各符号无相关性、等概分布时，信源熵为最大值。八进制信源的最大熵为，最小熵为。 4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= Hr(S)）。 5、一个事件发生概率为0.125，则自相关量为。 6、根据信原输出随机序列中随机变量前后之间有无统计依赖性，信原可以分为有记忆信源和无记忆信源。 7、噪声瞬时值的概率密度函数服从高斯分布，同时功率谱密度为均匀分布的噪声称为高斯白噪声。 8、当R=C或（信道剩余度为0）时，信源与信道达到匹配。 9、若连续信源输出信号的平均功率为，则输出信号幅度的概率密度是高斯分布或正 态分布或时，信源具有最大熵，其值为值。 9、在下面空格中选择填入数学符号“”或“” （1） （2）假设信道输入用X表示，信道输出用Y表示。在有噪无损信道中， H(X/Y)= 0, H(Y/X)0,I(X;Y)=H(X)。 二、（6分）若连续信源输出的幅度被限定在【1,3】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。 解：该信源的相对熵： 绝对熵为 三、（16分）已知信源 （1）用霍夫曼编码法编成二进制变长码；（4分） （2）计算平均码长；（4分） （3）计算编码信息率；（4分） （4）计算编码后信息传输率；（2分） （5）计算编码效率。（2分） 解：（1）霍夫曼编码后的二进制变长码： S1：10， S2：00， S3：00， S4：110， S5：111， （2）平均码长：I=0.35*3+0.65*2=2.35码元/符号； （3）编码信息率：=*logr=2.35*1=2.35 bit/信源符号 （4）编码后信息传输率： （5）编码效率： ==98% 四、（12分）已知一个平均功率受限的连续信号，通过带宽的高斯白噪声信道，试计算 （1）若信噪比为10，信道容量为多少？（4分） （2）若信道容量不变，信噪比降为5，信道带宽为多少？（4分） （3）若信道通频带减为时，要保持相同的信道容量，信道上的信号与噪声的平均功率比值应等于多少？（4分） 解： （1）根据香农公式： （2）当， 则 （3）当带宽减为， =120 五、（16分）某个信息源发出符号的概率为：假设该信息源发出的符号前后有关联，其依赖关系为： 画出状态转移图（4分） 计算稳态概率（4分） 计算信源的极限熵（4分） 计算稳态下H1，H2及其对应的剩余度。（4分） 解：（1） （2）由 （3）该信源的极限熵： 六、（8分）同时掷两个正常的股子，也就是各面呈现的概率都是，计算 （1）“3和4同时出现”事件的自信息量；（2分） （2）两个点数中至少有一个是1的自信息；（2分） （3）两个点数中之和为3的自信息；（2分） （4）两个点数的各种组合（无序对）的熵。（2分） 解：（1）P（3和4同时出现）= （2）P（1,1 or1,j or i,1）= P（1,2 or2,1）= 相同点出现的概率为，共6种组合 不同点出现的概率为，共15种组合 其熵为：事件 七、（22分）设离散无记忆信源的概率空间为 ，通过二进制对称信道，其概率转移矩阵为，信道输出端的接受符号集为 （1）计算信源熵（4分） （2）损失熵；（4分） （3）噪声熵；（4分） （4）受到消息Y后获得的平均互信息量（4分） （5）该信道的信道容量（4分） （6）说明该信道达到信道容量时的输入概率分布。（2分） 解 （1）