第2章信源及其信息的统计度量2_24~27课件.ppt

2.6.3 多维连续信源和波形信源的熵 ◆N 维连续信源 X = XN 的差熵为 p(x) = p(x1x2…xN) —— N 维概率密度函数 ◆若该信源还是无记忆的，满足 容易证明 N 维连续无记忆信源的差熵为 2.6.3 多维连续信源和波形信源的熵 ◆连续信源的 N 维条件差熵为 p(xN | x1x2…xN-1) —— 条件概率密度函数 ◆当 N = 2 时，得两个连续型随机变量之间的差熵为 ◆与离散信源一样，有关系式（仅当统计独立时，等号成立） 2.6.3 多维连续信源和波形信源的熵 ◆波形信源的信息测度用多维连续信源的差熵逼近。 ◆波形信源 {x(t)}的差熵为 ◆限时 T、限频 F 的平稳随机过程 {x(t)}，近似地用有限维（维数为 N = 2FT ）的平稳随机序列来表示。 ◆限时 T、限频 F 波形信源转化成多维连续平稳信源。 2.6.3 多维连续信源和波形信源的熵 均匀分布连续信源的差熵 ◆ 一维连续随机变量 X 在 [a,b] 区间内均匀分布时， 基本连续信源的熵为 ◆ N 维连续随机序列 X = (X1, X2,…, XN) ，其分量分别 在 [a1,b1], [a2,b2],…, [aN,bN] 区域内均匀分布， N 维连续平稳信源的差熵为 例 2.6.3 多维连续信源和波形信源的熵 高斯信源的差熵 ◆ 基本高斯信源 X 的概率密度分布显正态分布的信源，即 基本高斯信源的熵为 可见，其差熵与数学期望 m 无关，只与方差 σ2 有关。 ◆均值 m = 0时，X 的信源方差等于平均功率 P，所以有 例 2.6.3 多维连续信源和波形信源的熵 高斯信源的差熵 ◆ N 维连续随机序列 X = (X1, X2,…, XN) 是正态分布， 则称此信源为 N 维高斯信源。其相对熵为 当各变量之间统计独立，则 C 为对角矩阵，并有 ◆N 维无记忆高斯信源的熵， 即 N 维统计独立的正态分布随机变量的相对熵为 例 2.6.3 多维连续信源和波形信源的熵 指数分布连续信源的差熵 ◆ 一维连续随机变量 X 在 [a, ∞) 区间内的概率密度分布为 则称 X 为指数分布的连续信源。 其中，m 是 X 的数学期望。 ◆ X 的熵为 例 2.6.4 连续信源熵的性质和最大熵定理 1．连续信源熵的性质 ◆连续信源的差熵在概念上不能把它作为信息熵来理解， 它只具有部分信息熵的含义和性质， 丧失了某些重要的特性和含义。 ◆学习连续信源的差熵时，应注意与离散信源相比较。 性质2.41（可加性）连续信源 X 和 Y，有 当且仅当 X 和 Y 统计独立时，不等式的等号成立。 2.6.4 连续信源熵的性质和最大熵定理 性质2.42 （熵的不增原理） 在连续联合随机变量集 XY 上，条件熵总是小于或等于无条件熵，即 当且仅当 X 和 Y 统计独立时，不等式的等号成立。 性质2.43 （上凸性） 连续信源的差熵 h(x) 是概率密度函数p(x) 的严格∩型凸函数（或上凸函数）。 性质2.44 连续信源的差熵 h(x) 可以是负值。 2.6.4 连续信源熵的性质和最大熵定理 2．最大熵定理 ◆仅讨论三种约束条件下的最大熵。由 3 个定理给出。 定理2.3 (1) 若信号的幅度被限定在 区间内，则当输出信号的概率密 度均匀分布时，信源具有最大熵，其值为 log(b-a) 。 (2) 当 N 维随机序列取值受限时，也只有随机分量统计独立 并均匀分布时具有最大熵 2.6.4 连续信源熵的性质和最大熵定理 定理2.4 (1) 若信号的平均功率被限定为 P，则当其概率密度分布是 高斯分布时，信源具有最大熵，其值为 。 (2) N 维连续平稳信源，若其 N 维随机变量的协方差矩阵 C 被限定，则为正态分布时，信源熵最大，其值为 ◆功率受限时高斯信源的熵最大。 2.6.4 连续信源熵的性质和最大熵定理 定理2.45 若连续信源输出的非负信号的均值被限定为 m， 则当输出信号的概率密度分布是指数分布时， 信源具有最大熵，其值为 log me。 2.7 冗余度和熵功率 本节主要内容 2.7.2 连续信源的熵功率 2.7.1