2.3 连续信源及熵.pptVIP

本章主要内容 2.1单符号离散信源 2.2多符号离散平稳信源及熵 2.3连续信源及熵 2.3 连续信源及熵 连续信源的基本概念 连续信源的熵 几种特殊连续信源的熵 连续熵的性质 最大连续熵定理 熵功率 2.2 连续信源及熵 连续信源 def：输出消息在时间和幅度/取值都连续的信源。 如：语音信号、电视图像。 连续信源输出的消息：用随机过程X(t)表示，具体用概率密度函数描述。 2.3 连续信源及熵 连续信源的基本概念 连续信源的熵 几种特殊连续信源的熵 连续熵的性质 最大连续熵定理 熵功率 连续信源的熵 连续信源的熵(Hc) 相对熵：可正可负 可有限可无限 绝对熵：无限值 因为信源输出符号或波形在幅度变化上是无限的，要精确表示每一个符号或抽样样点必须用无穷多bit数才行。 设连续信源X 概率密度函数p(x) 则相对熵为： 连续信源的相对熵 例：X服从均匀分布 ，求信源熵。 解： 连续信源的相对熵 联合熵/共熵 X、Y定义在同一样本空间，联合概率密度函数为p(xy),则 条件熵 平均互信息 2.3 连续信源及熵 连续信源的基本概念 连续信源的熵 几种特殊连续信源的熵 连续熵的性质 最大连续熵定理 熵功率 几种特殊连续信源的熵 均匀分布的连续信源的熵 X在[a,b]上均匀分布，其熵为 服从（m,б2）高斯分布的连续信源的熵 概率密度函数为正态分布，即 ，其熵为 几种特殊连续信源的熵 高斯分布的 连续信源的熵： 几种特殊连续信源的熵 指数分布的连续信源的熵 2.3 连续信源及熵 连续信源的基本概念 连续信源的熵 几种特殊连续信源的熵 连续熵的性质 最大连续熵定理 熵功率 连续熵的性质 连续熵可正可负 可加性 连续熵的性质 平均互信息的非负性 连续熵的性质 定理：对于概率密度函数p(x),q(x)，只要两边为有限值，则 2.3 连续信源及熵 连续信源的基本概念 连续信源的熵 几种特殊连续信源的熵 连续熵的性质 最大连续熵定理 熵功率 最大连续熵定理 限峰值功率的最大熵定理：若X的取值被限制在一定范围内，则在有限的定义域内，均匀分布的连续信源熵具有最大值 。 限平均功率的最大熵定理：若信源输出信号的平均功率P(当均值m=0时，P= 。 )和均值m被限定，则输出信号幅度的概率密度函数为高斯分布时的连续信源的熵具有最大值 。 均值受限条件下的最大熵定理：若连续信源X输出非负信号的均值受限，则输出信号的幅度呈指数分布时的熵为最大值 。 2.3 连续信源及熵 连续信源的基本概念 连续信源的熵 几种特殊连续信源的熵 连续熵的性质 最大连续熵定理 熵功率 熵功率 对限平均功率的最大熵定理进行推广： 熵功率 ：与平均功率P的非高斯信源达到同样熵的高斯信源所需的平均功率。 continuous 说明:高斯连续信源的熵与 数学期望无关，只与方差有关 ,其熵为 说明：指数分布的连续信源的熵只取决于均值。 扩展到N个变量： 证明： 证明：利用 移项，得 说明：非高斯信源是功率有剩余信源。