信息科学基础讲义三卷5-15.doc

周次：第5次 时间：2007年9月18日 章节： 第2章 信息的统计度量 P14～31 作业： 2.10，2.15，2.17，2.18 提纲： 三、熵 1. 定义 2. 含义 3. 联合、条件 4. 性质 1) 非负性 2) 对称性 3) 确定性 4) 扩展性 5) 最大熵定理 6) 可加性 7) 强可加性 8) 极值性 9) 上凸性 10) 递增性 诸位同学，大家上午好！咱们开始上课，在开始新的内容之前，按照惯例咱们先把上次课的内容复习一下。上次课的内容是第二章信息的统计度量，讲了一个大问题？是什么？（互信息量） 大家需要掌握的问题有这样几个。 1、流经信道的信息量是如何度量的？ 2、互信息量的公式是什么？ 3、互信息量的含义是什么？ 4、互信息量的三个表达形式是什么？ 5、联合互信息量和条件互信息量的公式分别是什么？ 6、互信息量的性质分别是什么？分别说明它们的含义。 好，这些问题都是上次课的重点内容，希望大家能够掌握。咱们开始今天的内容。前面课程讲到了自信息量，它是信源发出某个符号所携带的信息量大小，信源各个符号的概率不同，因此每个符号所携带的信息量大小怎么样？也各不相同。因此自信息量也是一个随机变量，随着信源发出符号的不同而变化。现在我们想要找到一个能够对信源信息量进行整体度量的方法，而不是仅考虑单个符号的信息量。也就是说，