第三章 信源及信源熵.pptVIP

（二）H(X)：信息熵 量化分层 连续 离散 单符号信源 多符号信源 信源分类 连续信源 第三章：信源及信源熵 1. 连续信源的微分熵 （续3） p(x) -1 -0.5 0 0.5 1 x 单符号信源 多符号信源 信源分类 连续信源 第三章：信源及信源熵 1. 连续信源的微分熵 （续4） 单符号信源 多符号信源 信源分类 连续信源 第三章：信源及信源熵 1. 连续信源的微分熵 （续5） 单符号信源 多符号信源 信源分类 连续信源 第三章：信源及信源熵 1. 连续信源的微分熵 （续6） 微分熵： h(X) 又称为差熵 确定值部分 无限大常数项 同样，我们可以定义两个连续随机变量的联合熵： 及条件熵 并且它们之间也有与离散随机变量一样的相互关系： 单符号信源 多符号信源 信源分类 连续信源 第三章：信源及信源熵 1. 连续信源的微分熵 （续7） 单符号信源 多符号信源 信源分类 连续信源 第三章：信源及信源熵 1. 连续信源的微分熵 （续8） 例3.8：求均匀分布的随机变量的微分熵： 单符号信源 多符号信源 信源分类 连续信源 第三章：信源及信源熵 1.