2.4 连续信源的熵.pptVIP

* 第二章 基本信息论 §2.4 连续信源的熵 §2.4 连续信源的熵 一、连续信源 二、连续信源的熵 三、连续信源的最大熵 四、熵功率 五、二元联合连续信源的共熵与条件熵 一、连续信源 1. 连续信源的概念 t 时刻的 输出值 x 满足概率 密度函数 连续信源输出的是连续(型)随机变量。 具体地说，连续信源在“任何”时刻都按照某种概率 在一定的取值范围内输出“任何”值。 P39 一、连续信源 2. 连续信源的特点 从数学的角度来看，连续信源的输出结果是以时间 t 为 从消息的角度来看，连续信源在任一时刻都发送消息， 从自变量的函数 该函数时间连续、取值连续。 此外，连续信源在某一时刻的取值也可以分为与前面的 且消息的状态数为无穷大。 取值无关或者相关两种情况。 相应地，连续随机变量的信息度量可用离散随机变量 1. 连续信源的离散化(逼近) 二、连续信源的熵 为了参照前面已有的关于离散随机变量的讨论，对于 连续随机变量，将用离散随机变量来逼近。 认为是离散变量的极限情况。 的信息度量来逼近。 即连续变量可 记 则 X 的取值处于第 i 个区间的概率 为： 1. 连续信源的离散化(逼近) 二、连续信源的熵 将连续信源 X 的取值区间 N 等份， 其中， (积分中值定理) 连续信源 X 被离散化(或者说量化)为离散信源 ： 且满足 …… …… 1. 连续信源的离散化(逼近) 二、连续信源的熵 离散信源 的熵为： 当 即 时， 离散随机变量 将趋于连续 因此，离散信源 的熵 的极限值 2. 连续信源的熵 二、连续信源的熵 分析 随机变量 X ； 可以作为连续信源的信息熵。 P40 2. 连续信源的熵 二、连续信源的熵 分析 (1) 连续信源的绝对熵定义为 上式的第一项一般为定值，第二项将趋于无限大。 定义 (2) 连续信源的相对熵定义为 记为 即连续信源的相对熵简称为连续信源的熵。 由于连续信源的状态数为无穷大，它一旦输出某一 确定的值，所获得的信息量都将是无穷大。 (1) 为什么连续信源的绝对熵为无限大？ 关于连续信源熵的某些理解与说明 二、连续信源的熵 信源的绝对熵为无限大。 在实际问题中，常常计算的是熵的差值，如平均互信 此时，绝对熵中的无限大项将互相抵消掉。 (2) 为什么用连续信源的相对熵来定义连续信源的熵？ 可以和离散信源的熵在形式上统一，且便于计算； 息等。 因此，连续 例 设某连续信源 X 的概率密度函数为 解 求信源 X 的(相对)熵。 设求信源 X 的(相对)熵。 设某连续信源 X 的概率密度函数为 例 解 令 例 设某连续信源 X 的概率密度函数如图 解 所示， 令 由于 即得 求信源 X 的(相对)熵。 (1) 信源的瞬时功率受限； (2) 信源的平均功率受限。 约束条件 三、连续信源的最大熵 1. 问题的一般描述 …………………… 通常考虑两种情况： 问题 求 ，使 最大。 P42 方法 …………………… 求解下面的方程(组)： 三、连续信源的最大熵 1. 问题的一般描述 其中 三、连续信源的最大熵 2. 瞬时功率(或幅值)受限 约束条件 求解 (1) 令 代入 得 P44 (2) 此时有 (3) 证明 为最大熵 若 严格上凸， 则有 设 为任一概率密度函数， 则 且 (利用凸函数的性质) 即 三、连续信源的最大熵 2. 瞬时功率(或幅值)受限 约束条件 结论 信号的概率密度是均匀分布时，信源具有最大熵。 若信源输出的幅值限定在区域 内，则当输出 三、连续信源的最大熵 3. 平均功率受限 (恒定) 约束条件 求解 (略) 若信源输出的平均功率受限 (恒定)，则当输出信号的 结论 概率密度是高斯(正态)分布时，信源具有最大熵。 记为 (平均功率) P46 四、熵功率 目的 讨论连续信源的剩余(度)。 (1) 当平均功率 N 一定时： 非高斯分布的信源的熵 H 将小于最大熵。 高斯分布的信源取得最大熵 (2) 当熵值 H 一定时： 非高斯分布的信源要达到该熵值所需的平均功率为 N ； 高斯分布的信源达到该熵值所需的平均功率 将小于 N ； 则熵值的降低量 可用来刻画信源的剩余(度)。 则平均功率的增加量 也可用来刻画信源的剩余(度)。 P48