- 1、本文档共40页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
平均信息熵及其应用
丁勇
南京医科大学数学教研室
物质、能量和信息是构成客观世界的三大要素。
信息(information)是什么?
至今信息还没有一个公认的定义
一般定义:常常把消息中有意义的内容称为信
息。
信息能否度量?
认识问题的过程:
当我们对一问题毫无了解时,对它的
认识是不确定的,在对问题的了解过程
中,通过各种途径获得信息,逐渐消除了
不确定性,获得的信息越多,消除的不确
定性也越多。我们可以用消除不确定性的
多少来度量信息量的大小。
例:会堂有20排、每排20个座位。找一个
人。
甲告诉消息:此人在第10排;
乙告诉消息:此人在第10排 第10座
是否存在信息量的度量公式 ?
Claude Elwood Shannon
(April 30, 1916 - February 24,
2001) has been called the
father of information theory.
1948年,美国数学家、信息论的
创始人Shannon在题为“通讯的数
学理论”的论文中指出:“信息是
用来消除随机不定性的东西” 。
并应用概率论知识和逻辑方法推
导出了信息量的计算公式
公理1:信息量是事件发生概率的连续函数;
公理2 :信息量是有限值;
公理3 :如果事件A和事件B 的发生是相互独立的,则
获知事件A和事件B将同时发生的信息量是单独获知两
事件发生的信息量之和。
设事件发生的概率为P ,
则满足上述公理的信息量函数为
I c loga p I ln p
为应用方便,可取c=1,a=e,单位为奈特
(nat )
信息量函数 I= -lnp 如何体现不确定性的消除?
M
设 ( ) ,其中 为基本事件总数,
P A p N
N
为事件 所包含的基本事件数
M A
将 看成总的不确定性, 为事件 所包含的不确定性
N M A
从而获知事件 发生后,共消除的不确定性为
A N M
将变量取对数后,不影响数值大小的单调性,
又能和事件发生的概率联系起来
将 看成总的不确定性, 为事件 所包含的不确定性
ln N ln M A
从而获知事件 发生后,共消除的不确定性为
A
ln N ln M ln p
例:会堂有20排、每排20个座位。找一个
人。
甲告诉消息(A) :此人在第10排;
乙告诉消息(B) :此人在第10排、第10座。
总不确定性 ln N ln 400 5 .991
1 1
P ( A ) , I ln 2 .996
20 20
1 1
P ( B ) , I ln
文档评论(0)