离散信息的度量.PPT

引言 离散时间连续信源：如果一个信源的输出仅发生在离散时间间隔而取值是连续值。 可以 通过时间连续信源在时间上的离散化来实现。 对于离散时间连续信源熵的研究，可以采用在信源取值上的离散化来实现。 研究连续随机变量信息度量的方法 差熵举例 已知: ，x≥0, 求h(X) 解: = = = = 定理的证明思路 变换举例 设 、 为定义在Rn空间中的两个n 维矢量集合，A是 到 的可逆的线性变换，即 已知 的熵为 ，求 的熵。 解: 根据变换公式得， 变换举例 设随机变量X的概率密度为 ，求h(x)。 若Y1=x+k(k0), Y2=2x, 求h(Y1)和h(Y2)。 解: 举例 二维高斯随机变量XY,其中X和Y的均值都为0,方差分别为 ，且X与Y的相关系数为 ，Z=X+Y,求h(Z)。 解： 例4.5 Page ? * 举例 已知一信道的输入和输出分别为X和Y，其中X等概率取值为+1，-1， ，且Z为在-2与2之间均匀分布的随机变量； （1）求的概率密度 ； （2）求信道输入与输出之间的互信息 解： 举例 （1） 其中， 和 为条件概率密度。 设 为 的概率密度，可得 求 的过程，如下图所示 解： 举例 如图，可得 （2） 本章小结（1） 连续熵 离散熵 一一变换下熵的不变性？ 非负性？？ 熵的可加性 互信息性质 本章小结（2） 连续最大熵定理： 限功率时高斯信源有最大熵；限峰值时均匀分布信源有最大熵； 高斯信源的熵： N维离散时间高斯信源熵仅与协方差矩阵有关： 离散集与连续集之间的平均互信息的计算： 谢谢 ！ * 4.2.2 多维独立高斯随机变量集的熵 设N维独立高斯随机变量的分布密度为： 其中， 分别为随机矢量 的均值和方差。根据熵的可加性，可求得多维独立高斯随机矢量集合的熵： (4.25) (4.26) 4.2.3 多维相关高斯随机变量集的熵 定理4.3 设N维高斯随机矢量 的分布密度为： 定 理 (4.27) (4.28) 其中， 为 协方差矩阵， 为 的均值矢量，那么随机矢量集的熵为： Page ? * 举例 设X和Y是分别具有均值 ,方差 的两个独立的高斯随机变量集合,且 , ；试求 。 解 根据题意有 例4.1 Page ? * 根据 (4.20)，有 上面利用了X、Y的独立性。 举例 例4.1 Page ? * 将变换改为 ， ，试求 解 此时 到 的变换是正交变换，变换后熵不 变，所以 例4.2 §4.3 连续最大熵定理 Page ? * 限峰值最大熵定理 限功率最大熵定理 熵功率和剩余度 §4.3 连续最大熵定理 Page ? * 求最大熵 离散信源 连续信源 概率密度 约束条件 等概分布最大 峰值约束 功率约束 §4.3.1 限峰值最大熵定理 Page ? * 定 义 峰值功率受限为P 等价 信源输出信号的瞬时电压受限于 等价 信源输出的幅度取值受限于有限区间 §4.3.1 限峰值最大熵定理 Page ? * 幅度受限的随机变量，当均匀分布时有最大的熵。 详细描述：当 维矢量 具有概率密度 ，分布区间为 时，其熵满足 （4.30） 定理4.4 证明 §4.3.1 限峰值最大熵定理 Page ? * 设 是分布区间为 的均匀