大学物理-多媒体课件-4熵与信息简介.pptVIP

大学物理-多媒体课件-4熵与信息简介.ppt

  1. 1、本文档共13页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  5. 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  6. 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  7. 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  8. 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
* *熵与信息简介 * 熵与信息简介 一. 信息、信息价值评估 1. 信息 早年: 信息 — 消息 现代: 信息 — ?五官所感受的一切 2. 信息价值评估 ? 质的差别 ?人类所有的文化知识 ? 量的不同 例如,有名的短诗与无味的小说的比较。 对信息价值在质的方面的评估有困难: ? 超出自然科学的范围 ? 尚无为大家接受的客观准则 目前采用电报局的办法: 只计字数 不问内容 当代“信息论”的出发点: 只在信息量的问题上下功夫 二. 信息量与信息熵 1. 信息量 信息需要载体( 语言文字、音符、图表…), 比较不同载体传递的信息量很困难。 1948年信息论的创始人 香农(Shannon)从概率的角度给出信息的定义: (1)信息的获得意味着在各种可能性中概率分布的集中 ? 若只知某人住某楼(50间房),则在每间 房找到他的概率为多少? ? 若又知某人住三楼(10间房), ? 若又知某人住 301室,则在301找到他的概 在三楼的每间房找到他的概率为多少? 在其它楼层找到他的概率为多少? 则 率为多少? 在其它房找到他的概率为多少? 例如,在不同信息下,要去某楼找某人: 缺乏信息(情况不明) 获得了信息(情况进一步明了) —— 概率分布分散 —— 概率分布集中 (2)信息量的度量 1比特(bit)。 “黑和白” 、 “有和无”、 “二进制的 0 和 1 ”中作出判断。 在没有信息的情况下, ? 规定从两种可能性中作出判断所需信息量为 例如要在“是和否”、 的概率均为 1/2, 以上每种可能性出现 要作出判断需1bit信息量。 ? 从 4 种可能性中作出判断所需信息量为2bit。 例如甲持一张扑克牌让乙猜是什么花色的? 对乙的提问甲只能回答“是”和“否”, “是黑桃吗?” 正确问法: “是桃吗?” 所以,从 4 种可能性中作出判断所需要的 “是黑的吗?” 信息量为2 bit。 (为何不能这样问?) 提问次数最少而能猜中的问法应该如何? 错误问法: 那么乙 ? 从 8 种可能性中作出判断所需信息量为 3 bit。 ? 从 16 种可能性中作出判断所需信息量为 4 bit。 ? 从 N 种可能性中作出判断所需信息量为 : K = 1/ ln2 = 1.4427 或 作出判断所需 bit 数越大, 所缺信息量越多。 2. 信息熵 (概率都相等), 这时作出完全的判断所需要的比特数为: 香农称此 S 为信息熵, 它意味着信息量的缺损。 (1)在对 N 种可能性完全无知的情况下, 只能假定每种可能性出现的概率 P 都为 1/N 即 P = 1/N , 记作 (2)各可能性概率不等情况信息熵定义为: 0 若 Pi = 1/N, 则过渡到各可能性等概率的情况。 ? “明天有雨”,这给了1 bit 的信息 ? “明天有80%概率下雨”, P1 = 0.8(有雨); P2 = 0.2(无雨) 信息熵 例如天气预报: i = 1,2: 有两种可能, * *

文档评论(0)

wangshirufeng + 关注
实名认证
文档贡献者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档