第三章连续信源的信息熵.pptVIP

第三章：连续信源的信息熵 §3. Entropy of Continuous Source§3.1 连续信源的离散化§3.2 随机变量的相对熵§3.3 相对熵的性质§3.4 常见几种概率密度下的相对熵§3.5 连续信源的最大熵定理 §3.6 平稳高斯随机过程的信息熵与互信息 §3.7 熵功率与功率不等式  第三章. 连续信源的信息熵 §3. 1 连续信源的离散化 ( Discretization of Continuous Source) 我们前面所介绍的信源均指离散信源，即信源所发 的消息都是由符号或符号序列所组成； 而且每一个符号 的取值都属于一个有限元素组成的集合之中。 §3. 1 连续信源的离散化 因此，我们所研究的问题就复杂了，然而任何复杂 的问题都可以分解成比较简单的问题分步解决。故通 常我们有一些处理连续变量的方法。 §3. 1 连续信源的离散化 因此任何复杂的统计对象，经多种处理后就可由 浅入深地逐步解决问题。正如我们在离散信源中： 第三章. 连续信源的信息熵 §3. 2 连续变量的相对熵 ( The differential entropy of Continuous random Variable) 一个连续变量总可以采用数字量化的方式简化