第二章信息度量.ppt

2 条件熵 设联合概率空间为 条件自信息量 : 统计平均 条件熵 条件熵(续一) 式中 解释: 是另一种条件熵，它只对 求了统计平均,而未对 求统计平均，代表在给定条件 下有关 的（平均）不确定性。 条件熵(续二) 3 各类熵之间的关系 同理 总之 熵的强可加性 推广 各类熵之间的关系(续) 于是 因此，熵之间的关系简化： 熵的可加性 推广： 当 与 相互独立，则 统计独立时，有 2.6 平均互信息量及其性质 联合概率空间： 互信息量： 统计平均 平均互信息量 1 平均互信息量的定义 2 平均互信息量的物理解释 信源 观察过程 从 中获得的关于 的信息 ＝ 的先验(平均)不确定性－ 的后验(平均)不确定性 3 公式推导 ? 推导: 4 平均互信息量的性质 （1）互易性: 说明: （2）非负性： 注意： 可正可负。 条件熵不会大于无条件熵，增加条件只可能使不确定性减小，不会增大不确定性 推广：条件多的熵不会大于条件少的熵 。即 （3）有界性 ： 简证： 5 各种熵以及平均互信息量之间的关系 2.7 离散无记忆信源的扩展 DMS DMS DMS 研究信源输出的单个符号的统计特性 研究信源输出的符号串的统计特性 单符号信源 的 次扩展信源 多符号信源 ? ? 扩展信源的熵 DMS DMS ? 因为是DMS，故 独立同分布，所以 例 扩展信源模型的求法 例 设有离散无记忆信源 。 （1）求 和 ；（2）当 时，计算 。 解 （1）求2次和3次扩展信源的符号表: 例 扩展信源模型的求法(续一) 求概率： 根据信源的无记忆特性，有 同理可得： 例 扩展信源模型的求法(续二) （2）当 时，计算 。有两种求法。 方法一： Bit/符号 Bit/三元符号 方法二： Bit/三元符号 2.8 离散有记忆信源的熵 N阶平稳信源 一般有记忆信源 Bit/N元符号 Bit/符号 极限熵： Bit/符号 简单讨论 （1） 是非增的、有界的 。 ：信源无记忆时的熵。 ：信源无记忆且等概率分布时的熵，即最大熵。 信源内部有关联（也称有记忆）时，会使熵降低，当然实在信息也会跟着降低。 简单讨论（续） （2）极限熵的另一种表达式： （3）信源无记忆时，有 Bit/符号 （4）信源的实在信息在数值上等于其平均不确定性，因此，一般情况下恒有 2.9 离散信源的信息（速）率和信息含量效率 离散信源 离散信源的信息率 :平均一个符号所携带的信息量，也就是信源的实在信息，在数值上等于信源的极限熵。 Bit/符号 Bit/秒 信源的信息速率 ：信源单位时间内发出的平均信息量。 1 信息率 信源平均发出一个符号所需的时间 2 信息含量效率与冗余度 信源的信息含量效率 ： 信源的相对冗余度 ： 当且仅当信源是DMS且等概率分布（ ）时 例 设DMS为 。求信源的信息含量效率和相对冗余度。 解： 2.10 连续随机变量下的熵和平均互信息量 连续随机变量下的熵：微分熵 连续随机变量下的平均互信息量 微分熵的极大化问题 本节讨论的主要问题： 1 连续随机变量下的熵 （1）连续信源的数学模型 连续信源 （2）连续信源的离散化 将 的值域 等分为个子区间： 第 个子区间的概率 ： 离散化随机变量 ： (3)连续信源的熵 微分熵 为无穷大,失去意义。 （4）微分熵 微分熵与离散熵在表示形式上具有相似性； 微分熵只是实际熵的有限项，不能把微分熵式当作连续随机变量不确定性的度量公式； 连续随机变量取值于连续区间，有无穷多个取值点，每一点的概率均为0，自信息量无意义，因此不能像离散熵那样把熵视为自信息量的统计平均； 不具备非负性，可能出现负值； 在比较熵的大小时，微分熵具有相对意义。 微分熵的一般表达式 例 均匀分布随机变量的熵 设连续随机变量服从均匀分布，即概率密度函数为： 由微分熵定义式， 有 注意： 微分熵不具备非负性！ 例 高斯分布随机变量的熵 求熵时要注意计算技巧，注意使用以下两式： 设连续随机变量服从高斯分布，即概率密度函数为： 由微分熵定义式， 有 2 联合微分熵、条件微分熵 联合微分熵 条件微分熵 微分熵之间的关系: 3 平均互信息量 注： 该式可用离散化取极限的方法严格推出，是精确的，并没有舍弃无穷大项取相对值 。 平均互信息