信息论与编码第2章.ppt.pptVIP

第2章 离散信息的度量 引言 Ludwig Eduard Boltzmann与熵 离散熵的定义 投掷硬币系统 0和1组成的序列 信息量的单位 信息 类比Boltzmann的熵公式 信息量为描述随机变量所需长度的数学期望 熵 离散型随机变量的熵 数学期望的语言 熵的计算 某人一次投掷两个硬币，假定其朝向满足等概分布，求此人进行一次投掷的熵。 从一副混洗均匀的牌中任意抽出一张，求该行为蕴涵的信息量。 只有考察整个系统的信息量即熵才有意义 联合熵与条件熵 联合熵 条件熵 链式法则(Chain Rule) 信息的获取存在多种方式：既可一次完全获取信息；也可分步骤依次获取部分信息后再整合为完整的信息。 相对熵与互信息 估计的无效性 相对熵非负 特殊的相对熵----互信息 信息量之间的关系 离散熵的基本性质 单位的换算 仅与概率分布的取值有关 概率为0不影响熵 强可加性 合并 与 拆分 链式法则 (续) 向量情况的表达 某些有用形式 条件互信息的链式法则 不等式 离散熵的最值问题 条件熵不等式 信息不等式 相对熵非负 利用相对熵非负可证明前文中的若干不等式 因此该性质也称为信息不等式(Information Inequality) 离散熵的形式唯一性*  从公理化的角度对离散熵进行确切定义