[理学]信息论03.pptVIP

如取对数 3.鉴别信息 设随机变量 取值于 ，且其分布与假设 有关： ——判决两者差别的重要值。 取统计平均 （1） 定义（1）为随机变量 关于假设 的鉴别信息。 说明： 鉴别信息亦为信息的度量单位，它表明了假设 倾向于 的平均意义上的可能程度。 事实上： —— —— 则 —— —— 提供了 与 中倾向于 的信息量。 而在统计平均的意义下鉴别信息： 4. 散度 鉴别信息——方向散度。 5.联合鉴别信息于条件鉴别信息 联合鉴别信息 条件鉴别信息 6 . 连续随机变量下的鉴别信息 2.2 鉴别信息与熵和互信息的关系 § 2.2.1 鉴别信息与互信息 连续情况 若 则 鉴别信息即是互信息。 § 2.2.2 鉴别信息与熵 与离散熵 设 为先验分布，经观察倾向于 ， 所得的鉴别信息为 ，若最大可能的鉴 别信息为 。则 为 观察者观察后尚未获得的信息，就是 的不确 定性，用 表示 设 则 与连续熵 2.3 鉴别信息的性质 § 2.3.1 非负性与凸性 非负性 离散 连续 证明，利用 即可证。 2.凸性 离散： 鉴别信息作为 的函数，分别是 的下凸函数，即 连续 任给一连续随机变量 X，其概率密度函数 为 ， E 为 X 值域中的一个非空子集，恒有： 其中， ，当且仅 当 时等式成立。 § 2.3.2 可加性、不变性和分步可加性 可加性 多个随机变量的鉴别信息在各随机变量互相独立时等于各随机变量的鉴别信息之和。 不变性 设随机变量X及非奇异变换T，有 ， 则X 的鉴别信息与 Y 的鉴别信息相等，即： 其中 ， 是 X 的概率密度函数， 是 Y 的概率密度函数。 证： 分步可加性 Shannon 信息 Kullback 信息 例 Shannon 信息分步可加性的合理性 合理的情况：概率分布逐步精确 不合理的情况： Kullback 信息分步可加性 对于上例 分步可加性 设 ， 只有在 过程中随机变量的分布变得在 “原有基础上”日益“确定”的情况下，等式才成立。 原有基础：不与原知识相矛盾 日益确定：不确定性减小 * 1. 熵与互信息（第一章） 1.4 连续随机变量的熵和互信息 § 1.4.1 随机变量的微分熵 § 1.4.2 变换下的微分熵 § 1.4.3 几种特殊连续型随机变量得微分熵 § 1.4.4 多变量的微分熵