信息论与编码复习整理1讲义.docVIP

信息论与编码 1.根据信息论的各种编码定理和通信系统指标，编码问题可分解为几类，分别是什么？ 答：3类，分别是：信源编码，信道编码，和加密编码。 对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。 答：通信系统模型如下：　　　　 数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有，。说明经数据处理后，一般只会增加信息的损失。 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息: 表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 4.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？ 答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 最大熵值为。 熵的性质什么？ 答：非负性，对称性，确定性，香农辅助定理，最大熵定理。 6.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？ 答：信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。 平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。　 7.信道疑义度的概念和物理含义？ 答：