信息论复习概要1.ppt

信息理论复习纲要 课程特点： 以概率论为基础，数学推导较多，学习时主要把注意力集中到基本概念的理解上，不过分追求数学细节的推导。学习时注意理解各个概念的“用处”，结合其他课程理解它的意义，而不要把它当作数学课来学习，提倡独立思考，注重思考在学习中的重要性。 狭义信息论：主要研究信息的度量、信道容量（信道的传输能力）、信源及信道的编码问题。这部分理论是Shannon信息论，也称基础信息论 香农信息论的核心： 揭示了在通信系统中采用适当的编码后能够实现有效且可靠的传输信息，并得出了信源编码定理和信道编码定理。 三大定理 无失真信源编码定理（第一极限定理） 信道编码定理（第二极限定理） 有失真信源编定理（第三极限定理） 从数学观点看，这些定理是最优编码的存在定理。但从工程观点看， 这些定理不是结构性的，不能从定理的结果直接得出实现最优编码的 具体途径。然而，它们给出了编码的性能极限，在理论上阐明了通信 系统中各种因素的相互关系，为人们寻找最佳通信系统提供了重要的 理论依据。 通信系统的性能指标主要是有效性、可靠性和安全性和。 第一章 本章是信息论的基本概念，主要内容有： 信息是关于事物运动的状态和规律。从通信的角度讲，信息论是应用近代概率统计方法研究狭义信息的度量方法，研究各种信源、信道的描述和信源、信道的编码定理。 信息的传输系统由信源、信源