信息论速成1.pptVIP

信 息 论考试方式：期末闭卷授课教师：李 景 文教材：信息理论基础北京航空航天大学出版社教材主编：周荫清 第二章 信息的统计度量 四、联合熵（Joint Entropy）　 联合集XY上，联合自信息量I(xy)的概率加权平均值定义为条件熵H(XY)，也称共熵 第二章 信息的统计度量 五、熵函数的数学性质 1、对称性　 当概率矢量P=(p1, p2, …pq)中的q个分量的次序任意变更时，熵值不变。 释： ①熵仅与信源总体的统计特性有关(总体性)。 ②如果某些信源总体的统计特性相同，不管其内部结构如何，这些信源的熵值相同。 ③信息熵定义具有局限——突出局部(引入加权熵)。 第二章 信息的统计度量 2、非负性 等号成立的充要条件： 当且仅当集合X中某元素xi 的发生概率pi =1，其余pk =0 (k≠i)，即确定概率场的熵值最小。 * 信息理论基础 第一章 绪论 主要内容 §1.1 信息论 §1.2 信息 §1.3 通信系统数学模型 第一章 绪论 §1.1 信息论 信息论：应用数理统计的方法研究信息的传输、存储和处理的一门学科。经典信息论、广义信息论、信息科学。 1、经典信息论 又称为数学信息论、狭义信息论、近代信息论、香农信息论。