熵与信息简介.ppt

* *熵与信息简介 * 熵与信息简介 一. 信息、信息价值评估 1. 信息 早年： 信息 — 消息 现代： 信息 — ?五官所感受的一切 2. 信息价值评估 ? 质的差别 ?人类所有的文化知识 ? 量的不同 例如，有名的短诗与无味的小说的比较。 对信息价值在质的方面的评估有困难： ? 超出自然科学的范围 ? 尚无为大家接受的客观准则 目前采用电报局的办法： 只计字数 不问内容 当代“信息论”的出发点： 只在信息量的问题上下功夫 二. 信息量与信息熵 1. 信息量 信息需要载体（ 语言文字、音符、图表…）， 比较不同载体传递的信息量很困难。 1948年信息论的创始人 香农（Shannon）从概率的角度给出信息的定义： （1）信息的获得意味着在各种可能性中概率分布的集中 ? 若只知某人住某楼（50间房），则在每间 房找到他的概率为多少? ? 若又知某人住三楼（10间房）， ? 若又知某人住 301室，则在301找到他的概 在三楼的每间房找到他的概率为多少? 在其它楼层找到他的概率为多少? 则 率为多少? 在其它房找到他的概率为多少? 例如，在不同信息下，要去某楼找某人： 缺乏信息（情况不明） 获得了信息（情况进一步明了） —— 概率分布分散 —— 概率分布集中 （2）信息量的度量 1比特（bit）。 “黑和白” 、 “有和无”、 “二进制的 0 和 1 ”中作出判断。 在没有信息的情况下， ? 规定从两种可能性中作出判断所需信息量为 例如要在“是和否”、 的概率均为 1/2， 以上每种可能性出现 要作出判断需1bit信息量。 ? 从 4 种可能性中作出判断所需信息量为2bit。 例如甲持一张扑克牌让乙猜是什么花色的? 对乙的提问甲只能回答“是”和“否”， “是黑桃吗？” 正确问法： “是桃吗？” 所以，从 4 种可能性中作出判断所需要的 “是黑的吗？” 信息量为2 bit。 （为何不能这样问？） 提问次数最少而能猜中的问法应该如何？ 错误问法： 那么乙 ? 从 8 种可能性中作出判断所需信息量为 3 bit。 ? 从 16 种可能性中作出判断所需信息量为 4 bit。 ? 从 N 种可能性中作出判断所需信息量为 ： K = 1/ ln2 = 1.4427 或 作出判断所需 bit 数越大， 所缺信息量越多。 2. 信息熵 （概率都相等）， 这时作出完全的判断所需要的比特数为： 香农称此 S 为信息熵， 它意味着信息量的缺损。 （1）在对 N 种可能性完全无知的情况下， 只能假定每种可能性出现的概率 P 都为 1/N 即 P = 1/N ， 记作 （2）各可能性概率不等情况信息熵定义为： 0 若 Pi = 1/N， 则过渡到各可能性等概率的情况。 ? “明天有雨”，这给了1 bit 的信息 ? “明天有80％概率下雨”， P1 = 0.8（有雨）； P2 = 0.2（无雨） 信息熵 例如天气预报： i = 1,2： 有两种可能， * *