第2章 信息的度量.pptVIP

各节内容 2.1 信源模型 2.2 （概率）信息的描述 2.3 不确定性与信息 2.4 离散熵 2.5 联合熵和条件熵 2.6 平均互信息量及其性质 2.7 离散无记忆信源的扩展 2.8 离散有记忆信源的熵 2.9 离散信源的信息（速）率和信息含量效率 2.10 连续随机变量下的熵和平均互信息量 2.1 信源模型 信源模型的建立 信源分类 1 实际信源 信源的性质由其输出完全确定。 实际信源的输出各不相同，可能是汉字、英文、声音、图像等，统称为消息。 信源发出消息的过程，等同于从一个基本消息集合取出基本消息的过程。 2 信源模型 对认识主体而言，信源在某一时刻输出什么符号是随机的。 3 信源分类 （一） 根据参数集和值域是离散集合还是连续区间进行分类： 4 信源分类 （二） 2.2（概率）信息的描述 离散无记忆信源（DMS） 非理想观察模型 1 离散无记忆信源 DMS：Discrete Memoryless Source ，离散无记忆信源 。 离散无记忆信源（续） 2 非理想观察模型 2.3 不确定性与信息 信息是不确定性的减少量。 为度量信息，可从度量不确定性入手。 不确定性的种类很多。 未经统计平均的不确定性有： 自信息量、条件自信息量和联合自信息量。 统计平均意义下的不确定性有： 熵、条件熵和联合熵。 先介绍各种不确定性的度量方法，然后再引入信息的度量方法。 1 自信息量 自信息量的单位 自信息量的单位与公式中对数底的选取有关。 自信息量的单位（续） 单位换算： 自信息量单位的物理含义说明 2 联合自信息量 多元联合符号的联合自信息量 3 条件自信息量 自信息量的物理解释 4 自信息量的性质和相互关系 自信息量的性质和相互关系（续一） 自信息量相互关系推广 特殊情况下自信息量相互关系 5 互信息量及其性质 实在信息 例2 例2解 例2解（续一） 例2解（续二） 互信息量的性质 条件互信息量 记三元联合概率空间为 2.4 离散熵 熵的定义 熵的物理意义 熵的性质 1 熵的定义 关于熵的几点说明 2 熵的性质 (3)非负性 (4) 强可加性 “强可加性”证明 (5) 可加性 “可加性”证明 （6）渐化性 （7）凸状性 （8）极值性 信息论不等式 香农不等式 “极值性”证明 例 三元熵 2.5 联合熵和条件熵 联合熵：联合自信息量的统计平均。 条件熵：条件自信息量的统计平均 各类熵之间的关系：与各类自信息量之间的关系对应。 1 联合熵 2 条件熵 条件熵(续一) 条件熵(续二) 3 各类熵之间的关系 各类熵之间的关系(续) 2.6 平均互信息量及其性质 2 平均互信息量的物理解释 3 公式推导 4 平均互信息量的性质 5 各种熵以及平均互信息量之间的关系 2.7 离散无记忆信源的扩展 扩展信源的熵 例 扩展信源模型的求法 例 扩展信源模型的求法(续一) 求概率： 例 扩展信源模型的求法(续二) 2.8 离散有记忆信源的熵 简单讨论 简单讨论（续） 2.9 离散信源的信息（速）率和信息含量效率 2 信息含量效率与冗余度 2.10 连续随机变量下的熵和平均互信息量 连续随机变量下的熵：微分熵 连续随机变量下的平均互信息量 微分熵的极大化问题 1 连续随机变量下的熵 (3)连续信源的熵 （4）微分熵 微分熵与离散熵在表示形式上具有相似性； 微分熵只是实际熵的有限项，不能把微分熵式当作连续随机变量不确定性的度量公式； 连续随机变量取值于连续区间，有无穷多个取值点，每一点的概率均为0，自信息量无意义，因此不能像离散熵那样把熵视为自信息量的统计平均； 不具备非负性，可能出现负值； 在比较熵的大小时，微分熵具有相对意义。 例 均匀分布随机变量的熵 设连续随机变量服从均匀分布，即概率密度函数为： 例 高斯分布随机变量的熵 求熵时要注意计算技巧，注意使用以下两式： 2 联合微分熵、条件微分熵 3 平均互信息量 注： 该式可用离散化取极限的方法严格推出，是精确的，并没有舍弃无穷大项取相对值 。 平均互信息量概念本身就具有相对意义，求平均互信息量时，实际连续熵中的无穷大项相互抵消了，只剩下有限值相减。 连续情况下的平均互信息量有实际的物理意义，仍具有互易性和非负性 4 微分熵的极大化问题 （2）非负性： 注意： 可正可负。 条件熵不会大于无条件熵，增加条件只可能使不确定性减小，不会增大不确定性 推广：条件多的熵不会大于条件少的熵 。即 （3）有界性 ： 简证： DMS DMS DMS 研究信源输出