第二章教育信息熵讲述.ppt

第二章?????? 教育信息熵 ? 熵的最早提出（1865年）与热力学 熵在信息论中的地位 第一节??? 熵的概述 一 信息量的表示 1 信息的多少与信源的不确定性有关 实例：5个学生(A、B、C、D、E）参加某项比赛, 选拔出1人为冠军 2 信息量的度量与信源的不确定性 实例1：5个学生水平相差不多（接近等概率） 实例2：5个学生水平相差大（不等概率）， 其中A的水平高超 问：哪一组比赛悬念更大（获得的信息量多）? 3 小结：信源输出的消息可以看作是随机事件 事件出现的概率大，出现机会多，不确定程度小； 事件出现的概率小，出现机会少，不确定程度大。 即 Pi大， f(Pi)小； Pi小， f(Pi)大。 即 f(Pi)应是Pi的单调减函数 f(pi)=∽(1/pi) 4 信息量的可加性 单调减函数可以有很多种，用来度量信息的函数f(Pi)究竟应当是哪一种呢？有了可加性即可解决。 即 P（x1,x2）=P(x1)*P(x2) 联合概率（两个变量相互独立） 而f(P1,P2)=f(P1)+f(P2) 不确定性 可见 f(P)满足取对数的关系 f(P)=log(1/p) = -log p 它满足的两个关系： （1） 不确定性与