信息论基础 普通高等教育十一五 国家级规划教材 教学课件 作者 田宝玉 杨洁 贺志强 王晓湘 chapter4.pptVIP

第4章  连续信息与连续信源 第4章 连续信息与连续信源 本章主要内容： 1. 连续随机变量集合的熵 2. 离散时间高斯信源的熵 3. 连续最大熵定理 4. 连续随机变量集的平均互信息 5. 离散集与连续集之间的互信息 本章在研究第3章离散信源的基础上研究连续信源的信息量度量。 内容安排如下： 首先研究离散时间连续信源的差熵，主要是高斯信源的差熵；然后介绍连续信源最大熵定理；最后介绍连续集合之间的平均互信息、离散集合与连续集合的平均互信息。 §4.1 连续随机变量集合的熵 本节主要内容： 1.连续随机变量的离散化 2.连续随机变量集的熵 3.连续随机变量集的条件熵 4.连续随机变量集的联合熵 5.连续随机变量集合差熵的性质 6.连续随机变量集合的信息散度 4.1.1 连续随机变量的离散化 一个连续随机变量的离散化过程大致如下： 若给定连续随机变量集合 的概率分布 或 概