2.3 连续信源的熵35.pptVIP

本章主要内容 2.1单符号离散信源 2.2多符号离散平稳信源及熵 2.3连续信源及熵 2.3 连续信源及熵 连续信源的基本概念 连续信源的熵 几种特殊连续信源的熵 连续熵的性质 最大连续熵定理 熵功率 2.2 连续信源及熵 连续信源 def：输出消息在时间和幅度/取值都连续的信源。 如：语音信号、电视图像。 连续信源输出的消息：用随机过程X(t)表示，具体用概率密度函数描述。 2.3 连续信源及熵 连续信源的基本概念 连续信源的熵 几种特殊连续信源的熵 连续熵的性质 最大连续熵定理 熵功率 连续信源的熵 连续信源的熵(Hc) 相对熵：可正可负 可有限可无限 绝对熵：无限值 因为信源输出符号或波形在幅度变化上是无限的，要精确表示每一个符号或抽样样点必须用无穷多bit数才行。 设连续信源X 概率密度函数p(x) 则相对熵为： 连续信源的相对熵 例：X服从均匀分布 ，求信源熵。 解： 连续信源的相对熵 联合熵/共熵 X、Y定义在同一样本空间，联合概率密度函数为p(xy),则 条件熵 平均互信息 2.3 连续信源及熵 连续信源的基本概念 连续信源的熵 几种特殊连续信源的熵 连续熵的性质 最大连续熵定理 熵功率 几种特殊连续信源的熵 均匀分布的连续信源的熵 X在[a,b]上均匀分布，其熵