第二章 教育信息熵[精选].pptVIP

第二章 教育信息熵 张敏霞 2011年9月 主要内容 第一节 熵的概述 第二节 相对熵与冗余熵 第三节 测试问题的信息量 第四节 CAI课件中的信息熵 第五节 教学过程的信息量分析 第一节 熵的概述 一、信息量的表示 一般来说，在通信过程中，信源发出的消息对收信者来说总是存在着某种程度的不确定性，通过通信，收信者就可能消除这种不确定性。 信息的多少与信源的不确定性有关。研究信息的度量可变成研究信源的不确定性的度量。 例1：现有A、B、C、D、E五名学生，以他们作为候选人，需从中选出一名学生作为学生代表。 情况一：设定每一名学生被选中的可能性一样（A当选的概率是20%）； 情况二：设定A 当选的概率是90%； 情况三：A一定会当选（ A 当选的概率是100%）。 选拔的结果：A 被选中。 信源输出的消息可以看作是随机事件（数学上对随机事件发生可能性的大小以概率来度量），它的不确定度可根据其出现的概率来衡量： 概率大，出现机会多，不确定程度小 概率小，出现机会少，不确定程度大 设某一事件产生的概率为p，则信息量可定义为： I =loga(1/P)=-logaP 其中，a＞1 a＝2时，单位为bit（比特），字位 a＝e时，单位为nat（奈特），自然对数ln a＝10时，单位为dit（迪特）。常用对数lg 通常情况下，我们选择以2为底数，此时信息量的单位为比特。 二、信息熵 1、信息熵定义 设发送端的可能消息集合为：X=（X1,X2,……,Xn）,各可能消息分别按概率P1,P2,……，Pn发生，并满足归一性条件： P1+P2+……+Pn=1。按一定的概率从集合X中随机选择消息发送，形成一个消息序列。设序列中包含的消息总数为N，N非常大。在统计意义上，该序列中包含的消息Xi的数目为PiN个，所有Xi包含的信息量为-（PiN）log2Pi。将序列中所有消息包含的信息量之和除以N，得到序列中每个可能信息的平均信息量为： H=-（P1log2P1+ P2log2P2+……+ Pnlog2Pn)=- H是可能消息集合X的整体平均信息量，亦即单位消息的信息量。 三、熵的意义 ????? 四、信息熵的基本性质 1、单峰性（极值性） 设某一系统包含两个事件A、B，其产生的概率分别为 p和1-p。该系统的熵为 H=-[plog2p+(1-p)log2(1-p)] H-P图具有单峰性的特点。 对于由n个事件组成的系统，其信息熵也同样具有单峰性。当系统中每一事件产生的概率相同时，系统的熵最大。 2、对称性 某系统中n个事件的概率分布为 :(p1,p2……,pn)?????? ?????当我们对事件位置的顺序进行任意的置换后，得到新的概率分布:(p1’,p2’……,pn’)???????? ??????有以下关系成立：?????? H(p1,p2……,pn)=H(p1’,p2’……,pn’) ?????它表示，系统中，事件的顺序虽不同，只要总的概率分布相同，系统的熵H是不变的，即系统的熵与事件的顺序无关。 3、渐化性 设概率为pn(=q+r)的事件可分解为概率分别为q和r的两个事件，则有 ?????H(p1,p2…,pn-1,q,r)=H(p1,p2…,pn-1,q+r)+(q+r)H(q/(q+r),r/(q+r)) ????? 4、展开性 设某一系统的概率分布为：(p1,p2……,pn)????????? ???该系统的信息熵具有 H(p1,p2……,pn)?=H(p1,p2……,pn,0)???这样的展开性质。在此基础上，进一步展开，有 H(p1,p2……,pn)?=H(p1,p2……,pn,0,…0)?????????  5、确定性 概率系统中，任一事件产生的概率为1，则其他事件产生的概率为0，这是一种确定的系统。对于这样的系统，有 H(1,0)=H(0,1)=H(1,0…,0)=H(0,0…,1…0)=0 第二节 相对熵与冗余度 第四节 CAI课件中的信息熵 一、多重选择问题的信息熵 设学习者对具有两种预选答案问题的应答分布为： （1/2，1/2），H=1bit 设学习者对具有三种预选答案问题的应答分布为： （1/2，1/4，1/4），H=1.5bit 设学习者对具有四种预选答案问题的应答分布为： （1/2，1/4，1/8，1/8），H