信息熵及其应用.pdf

平均信息熵及其应用 丁勇 南京医科大学数学教研室 物质、能量和信息是构成客观世界的三大要素。 信息（information）是什么? 至今信息还没有一个公认的定义 一般定义：常常把消息中有意义的内容称为信 息。 信息能否度量？ 认识问题的过程： 当我们对一问题毫无了解时，对它的 认识是不确定的，在对问题的了解过程 中，通过各种途径获得信息，逐渐消除了 不确定性，获得的信息越多，消除的不确 定性也越多。我们可以用消除不确定性的 多少来度量信息量的大小。 例：会堂有20排、每排20个座位。找一个 人。 甲告诉消息：此人在第10排； 乙告诉消息：此人在第10排 第10座 是否存在信息量的度量公式 ？ Claude Elwood Shannon (April 30, 1916 - February 24, 2001) has been called the father of information theory. 1948年，美国数学家、信息论的 创始人Shannon在题为“通讯的数 学理论”的论文中指出：“信息是 用来消除随机不定性的东西” 。 并应用概率论知识和逻辑方法推 导出了信息量的计算公式 公理1：信息量是事件发生概率的连续函数； 公理2 ：信息量是有限值； 公理3 ：如果事件A和事件B 的发生是相互独立的，则 获知事件A和事件B将同时发生的信息量是单独获知两 事件发生的信息量之和。 设事件发生的概率为P ， 则满足上述公理的信息量函数为 I c loga p I ln p 为应用方便，可取c=1，a=e，单位为奈特 （nat ） 信息量函数 I= -lnp 如何体现不确定性的消除？ M 设 ( ) ,其中 为基本事件总数， P A p N N 为事件 所包含的基本事件数 M A 将 看成总的不确定性， 为事件 所包含的不确定性 N M A 从而获知事件 发生后，共消除的不确定性为  A N M 将变量取对数后，不影响数值大小的单调性， 又能和事件发生的概率联系起来 将 看成总的不确定性， 为事件 所包含的不确定性 ln N ln M A 从而获知事件 发生后，共消除的不确定性为 A ln N ln M ln p 例：会堂有20排、每排20个座位。找一个 人。 甲告诉消息(A) ：此人在第10排； 乙告诉消息(B) ：此人在第10排、第10座。 总不确定性 ln N ln 400 5 .991 1 1 P ( A ) , I ln 2 .996 20 20 1 1 P ( B ) , I ln