信息论复习.ppt

信息理论复习纲要 课程特点： 以概率论为基础，数学推导较多，学习时主要把注意力集中到基本概念的理解上，不过分追求数学细节的推导。学习时注意理解各个概念的“用处”，结合其他课程理解它的意义，而不要把它当作数学课来学习，提倡独立思考，注重思考在学习中的重要性。 狭义信息论：主要研究信息的度量、信道容量（信道的传输能力）、信源及信道的编码问题。这部分理论是Shannon信息论，也称基础信息论 香农信息论的核心： 揭示了在通信系统中采用适当的编码后能够实现有效且可靠的传输信息，并得出了信源编码定理和信道编码定理。 三大定理 无失真信源编码定理（第一极限定理） 信道编码定理（第二极限定理） 有失真信源编定理（第三极限定理） 从数学观点看，这些定理是最优编码的存在定理。但从工程观点看， 这些定理不是结构性的，不能从定理的结果直接得出实现最优编码的 具体途径。然而，它们给出了编码的性能极限，在理论上阐明了通信 系统中各种因素的相互关系，为人们寻找最佳通信系统提供了重要的 理论依据。 通信系统的性能指标主要是有效性、可靠性和安全性和。 第一章 本章是信息论的基本概念，主要内容有： 信息是关于事物运动的状态和规律。从通信的角度讲，信息论是应用近代概率统计方法研究狭义信息的度量方法，研究各种信源、信道的描述和信源、信道的编码定理。 信息的传输系统由信源、信源及信道编码器、信道、信源及信道译码器、信宿组成。 信源和信宿用来产生和接收消息。 编码器将信源发出的消息变换成是与信道传送的信号的设备。 将信源的剩余度剔除，信道编码器增加冗余的纠错、检错码元。 译码器是把信道输出的编码信号进行反变换。 信道是消息传输的通道。 信息论的形成和发展 信源的主要问题： 如何描述信源的输出（信源的建模问题） 怎样确定信源产生的信息量 信源的最基本的特性是具有统计不确定性，它可用概率统计特性来描述。 数学模型及其分类 第二、三章 什么叫自信息量？ 什么叫联合自信息量？ 什么叫条件自信息量？ 什么叫互信息量？ 什么叫条件互信息量？ 分别有什么样的性质， 他们之间的关系怎样？ 什么叫平均自信息量(信源熵)？ 什么叫条件熵？ 什么叫联合熵？ 什么叫先验概率,后验概率？ 什么叫平均互信息量？ 熵的性质有哪些？ 1、本章主要阐述了对各种信息量的度量，主要内容如下： （1）自信息量I(xi) = - log p(xi) 对自信息量求统计均值，得到熵 （2）条件自信息量I(xi︱yj) = - logp(xi︱yj) 对I(xi︱yj)求统计均值，得到条件熵 （3）条件自信息量I(yj︱xi) = - log p (yj︱xi) 对I(yj︱xi)求统计均值，得到条件熵 （5）?二个事件之间的互信息 对I(xi ；yj)求统计均值，得到平均互信息量 I (X;Y) = H (X) – H (X︱Y) = H (Y) – H (Y︱X)= H(X)+ H(Y)- H(XY) （4）二维联合空间的自信息量I(xi yj) = - log p(xi yj) 对I(xi yj)求统计均值，得到联合熵 （7）由yj提供的关于集X的平均互信息量等于由yj所提供的互信息量I(xi;yj)在整个X中以后验概率加权的平均值，平均条件互信息量 (6)在给定yj条件下，xi的条件自信息量为I(xi/yj)，X 集合的条件熵H（X/yj） 2、互信息量与熵之间的关系图 H(X/Y) H(Y/X) I(X;Y) H(X) H(Y) H(XY) H（XY）= H（X）＋H（Y/X） = H（Y）＋H（X／Y） H（X） H（X／Y），H（Y） H（Y／X） I（X；Y）= H（X）- H（X／Y） = H（Y）- H（Y／X） = H（X）＋H（Y）H（XY） H（XY） H（X）＋H（Y） 如果X与Y互相独立，则I（X；Y）＝0 此时：H（XY）＝H（X）+H（Y） H（X）＝H（X／Y） H（Y）＝H（Y／X） 从图中可得到如下关系 ? 极大熵定理 4.本章介绍的一个重要定理： 5.常用的概率关系： 3.平均互信息量和各种熵具有的性质。 6、