平均信息熵及其应用.pptVIP

第一页，共四十页，2022年，8月28日 信息能否度量 ？ 物质、能量和信息是构成客观世界的三大要素。 信息（information）是什么? 至今信息还没有一个公认的定义 一般定义：常常把消息中有意义的内容称为信息。 第二页，共四十页，2022年，8月28日 认识问题的过程： 当我们对一问题毫无了解时，对它的认识是不确定的，在对问题的了解过程中，通过各种途径获得信息，逐渐消除了不确定性，获得的信息越多，消除的不确定性也越多。我们可以用消除不确定性的多少来度量信息量的大小。 例：会堂有20排、每排20个座位。找一个人。 甲告诉消息：此人在第10排； 乙告诉消息：此人在第10排、第10座。 第三页，共四十页，2022年，8月28日 是否存在信息量的度量公式 ？ 1948年，美国数学家、信息论的创始人Shannon在题为“通讯的数学理论”的论文中指出：“信息是用来消除随机不定性的东西”。并应用概率论知识和逻辑方法推导出了信息量的计算公式 Claude Elwood Shannon (April 30, 1916 - February 24, 2001) has been called the father of information theory. 第四页，共四十页，2022年，8月28日 公理1：信息量是事件发生概率的连续函数； 公理2：信息量是有限值； 公理3：如果事件A和事件B的发生是相互独立的，则获知事件A和事件B将同时发生的信息量是单独获知两事件发生的信息量之和。 设事件发生的概率为P， 则满足上述公理的信息量函数为 为应用方便，可取c=1，a=e，单位为奈特（nat） 第五页，共四十页，2022年，8月28日 信息量函数 I= -lnp 如何体现不确定性的消除？ 第六页，共四十页，2022年，8月28日 例：会堂有20排、每排20个座位。找一个人。 甲告诉消息(A)：此人在第10排； 乙告诉消息(B)：此人在第10排、第10座。 由信息量公式 I= -lnp 可知 I 是 p 的单调下降函数 第七页，共四十页，2022年，8月28日 信息熵(entropy )的概念 设离散型随机变量X的概率分布为 X的信息熵定义为“加权平均信息量” 第八页，共四十页，2022年，8月28日 信息熵的直观意义 变量的不确定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大。??  一个系统越是有序，信息熵就越低；反之，一个系统越是混乱，信息熵就越高。所以，信息熵也可以说是系统有序化程度的一个度量。 X 甲赢 乙赢 P 0.9 0.1 H 0.325 X 甲赢 乙赢 P 0.5 0.5 H 0.693 第九页，共四十页，2022年，8月28日 熵的性质 连续非负性 对称性 扩展性 可加性 极值性： 第十页，共四十页，2022年，8月28日 1948年，Shannon提出了熵的概念，并以此作为信息的度量，宣告了信息论作为一门科学学科的诞生。 近年来，随着计算机应用的发展和信息时代的来临，信息论理论和应用的研究更显示出其重要意义。 第十一页，共四十页，2022年，8月28日 应用1：识别假币 有12枚外形相同的硬币，其中一枚是假币（重量略有不同），如何用没有砝码的天平用最少次数找出假币？ 每个硬币可能是真，也可能是假， 且假币可能重一些，也可能轻一些，故共有24种可能，不确定性为ln24。 第十二页，共四十页，2022年，8月28日 将硬币分成3份，其中2部分在天平的两边。实验结果有3种可能性：假币在天平左边、右边、不在天平上。 当3种可能性概率相同时，熵最大，因此每次实验提供的最大信息熵为ln3。设至少秤k次， k次实验提供的信息熵最多为kln3, 有ln24=kln3可得k至少为3。 第十三页，共四十页，2022年，8月28日 应用2：熵与参数估计的似然函数 第十四页，共四十页，2022年，8月28日 应用3：群体遗传学 A a A a 第十五页，共四十页，2022年，8月28日 第十六页，共四十页，2022年，8月28日 由此可见，无论第一代基因型概率分布为何值，第二代基因型熵即达到最大 多对等位基因 也有相同的结论 A a B b A a B b 第十七页，共四十页，2022年，8月28日 Hardy–Weinberg 平衡(H–W平衡)定律 一个随机交配的群体中，等位基因频率保持不变，基因型频率至多经过一个世代也将保持不变。 第十八页，共四十页，2022年，8月28日 问题的提出