信息论与编试码卷答案.docVIP

一、概念简答题（每题?5分，共40分） 1?.什么是平均自信息量?与平均互信息，比较一?下这两个概念的异同？? 2.简述最大离散熵?定理。对于一个有m个?符号的离散信源，其最?大熵是多少？ 3.解?释信息传输率、信道容?量、最佳输入分布的概?念，说明平均互信息与?信源的概率分布、信道?的传递概率间分别是什?么关系？ 4.对于一?个一般的通信系统，试?给出其系统模型框图，?并结合此图，解释数据?处理定理。 5.写出?香农公式，并说明其物?理意义。当信道带宽为?5000Hz，信噪比?为30dB时求信道容?量。 6.解释无失真?变长信源编码定理。 ?7.解释有噪信道编码?定理。 　8.什么是?保真度准则？对二元信?源，其失真矩阵，?求a0时率失真函数?的和？ 二、综合?题（每题10分，共6?0分） 1.黑白气象?传真图的消息只有黑色?和白色两种，求： 1?） 黑色出现的概率为?0.3，白色出现的概?率为0.7。给出这个?只有两个符号的信源X?的数学模型。假设图上?黑白消息出现前后没有?关联，求熵； 2）? 假设黑白消息出现前?后有关联，其依赖关系?为：，，，，?求其熵 ； ?2.二元对称信道如图?。　　； 1）若?，，求和； ?2）求该信道的信道容?量和最佳输入分布。 ? 3.信源空间为?，试分别构造二元和?三元霍夫曼码，计算其?平均码长和编码效率。? 4.设有一离散?信道，其信道传递矩阵?为，并设，试分别?按最小错误概率准则与?最大似然译码准则确定?译码规则，并计算相应?的平均错误概率。 ? 5.已知一（8，5?）线性分组码的生成矩?阵为。求：1）输?入为全00011和1?0100时该码的码字?；2）最小码距。 6?.设某一信号的信息传?输率为5.6kbit?/s，在带宽为4kH?z的高斯信道中传输，?噪声功率谱NO=5×?10－6mw/Hz。?试求：（1）无差错?传输需要的最小输入功?率是多少？（2）此?时输入信号的最大连续?熵是多少？写出对应的?输入概率密度函数的形?式。 概念简答?题（每题5分，共40?分）1.答：平均自?信息为 表示信源的?平均不确定度，也表示?平均每个信源消息所提?供的信息量。 平均互?信息 表示从Y获得?的关于每个X的平均信?息量，也表示发X前后?Y的平均不确定性减少?的量，还表示通信前后?整个系统不确定性减少?的量。 2.答：最大?离散熵定理为：离散无?记忆信源，等概率分布?时熵最大。 最大熵值?为。 3.答：信息?传输率R指信道中平均?每个符号所能传送的信?息量。信道容量是一个?信道所能达到的最大信?息传输率。信息传输率?达到信道容量时所对应?的输入概率分布称为最?佳输入概率分布。 　?　平均互信息是信源概?率分布的∩型凸函数，?是信道传递概率的U型?凸函数。　　 4.答?：通信系统模型如下：?　　　　 数据处?理定理为：串联信道的?输入输出X、Y、Z组?成一个马尔可夫链，且?有，。说明经数据?处理后，一般只会增加?信息的损失。 5.答?：香农公式为，它是?高斯加性白噪声信道在?单位时间内的信道容量?，其值取决于信噪比和?带宽。 由得，则? 6.答：只要，?当N足够长时，一定存?在一种无失真编码。 ?7.答：当R＜C时，?只要码长足够长，一定?能找到一种编码方法和?译码规则，使译码错误?概率无穷小。 8.答?：1）保真度准则为：?平均失真度不大于允许?的失真度。 2）因为?失真矩阵中每行都有一?个0，所以有，而?。 二、综合题（每题?10分，共60分） ?1.答：1）信源模型?为 　　　　 2?）由得 则 2?.答：1） 　　　?　 ?2），最佳输入概率?分布为等概率分布。 ?3.答：1）二元码的?码字依序为：10，1?1，010，011，?1010，1011，?1000，1001。? 平均码长，编码效?率 2）三元码的码?字依序为：1，00，?02，20，21，2?2，010，011。? 平均码长，编码效?率 4.答：1）最?小似然译码准则下，有?， 2）最大错误?概率准则下，有，? 5.答：1）输入为?00011时，码字为输?入为10100时，码?字。 2） 6.答：?1）无错传输时，有? 即则 2）在?时，最大熵 对应的?输入概率密度函数为? ?