信息论总复习.pdfVIP

 填空题共 10小题，满分30分 ；  证明题共 1小题，满分5分；  计算题共6小题，满分65分：  各类熵以及互信息的计算(45分）；  马尔科夫信源熵及其相关 （15分）；  冗余度的计算及其相关（15分）；  编码（10分）  其他 （10分）  课程特点： 以概率论为基础，数学推导较多，学习时主 要把注意力集中到基本概念的理解上，不过 分追求数学细节的推导。学习时注意理解各 个概念的 “用处”，结合其他课程理解它的 意义，而不要把它当作数学课来学习，提倡 独立思考，注重思考在学习中的重要性。 信息论的研究对象是这种统一的通信 系统模型。 信源 编码器 信道 译码器 信宿 噪声源 通信系统模型  狭义信息论：主要研究信息的度量、信道 容量（信道的传输能力）、信源及信道的 编码问题。这部分理论是Shannon信息论， 也称基础信息论  香农信息论的核心： 揭示了在通信系统中采用适当的编码 后能够实现有效且可靠的传输信息，并 得出了信源编码定理和信道编码定理。  三大定理  无失真信源编码定理（第一极限定理）  信道编码定理（第二极限定理）  有失真信源编定理（第三极限定理）  从数学观点看，这些定理是最优编码的存 在定理。但从工程观点看，这些定理不是结构 性的，不能从定理的结果直接得出实现最优编 码的具体途径。然而，它们给出了编码的性能 极限，在理论上阐明了通信系统中各种因素的 相互关系，为人们寻找最佳通信系统提供了重 要的理论依据。 Shannon信息论：在噪声环境下，可靠地、安全 地、有效地传送信息理论 狭义信息论 编码理论与技术 有效性编码：压缩信源的冗余,从而提高信息 的传输效率,主要是针对信源的统计性进行编 码,故也称为信源编码。 可靠性编码：一般增加信源的冗余,有以提高 信息传输的可靠性, 主要是针对信道的统计性 进行编码,故也称为信道编码 安全性编码：将信源的明文编码成密文，提高 通信的安全性。  仙农从研究通信系统传输的实质出发，对信息做出了科学的 定义；  仙农注意到：收信者在收到消息之前是不知道消息的具体内 容的。通信系统消息的传输对收信者来说，是一个从不知到 知的过程，或者从知之甚少到知之甚多的过程，或是从不确 定到部分确定或全部确定的过程。  因此, 对于收信者来说, 通信过程是消除事物状态的不确定性 的过程，不确定性的消除，就获得了信息，原先的不确定性 消除的越多，获得的信息就越多；  “信息”是事物运动状态或存在方式的不确定性的 描述，这就是仙农关于信息的定义。  定义：若事件x 的概率为p(x) ，则称 I (x) logc p(x) 或 1 I (x ) logc p (x ) 为事件x 的自信息量，简称x 的自信息. 信道 xi yj p(x ): 发送端发送x 的概率； i i P(x |y ): 接收端收到y 后，发送端发送x 的概率