教育信息处理[2].ppt

* 第二章 教育信息熵 1.了解信息熵的基本含义及性质 2.掌握多个概率系统的信息熵 3.掌握测试过程中的信息量问题 4.掌握教学过程中的信息量问题 5.掌握教育中质的数据信息量问题 6.掌握CAI课件中信息熵的应用 第一节 熵的概述 2.1.1　信息量的表示 1。信息量与不确定性的关系 2。不确定性的大小与事件出现的概率Pi的关系 a。单调减函数 b。可加性 第一节 熵的概述 2.1.1　信息量的表示 A B C D E 信息量的表示： 单位： 以2为底的单位为比特 （bit） …e………………奈特 （nit） …10……………...迪特 （dit） 1 bit = 0.693 nat 1 nat = 1.443 bit 1 nat = 0.4343 nat 1 dit = 2.303 nat 2.1.2　信息熵 每个状态平均含有的不确定性 X： x1,x2,……,xn P(X): P(x1), P(x2), ,……, P(xn) 设某一系统具有四种状态A1、A2、A3、A4,其产生的概率分别为：??????? 、 、 、 ?该系统中任一状态产生是所给予的平均信息量为： H=1.75(bit) 若概率系统为连续系统，其概率分布为p(x)，该系统的熵由下式表示： 2.1.3　熵的意义 熵的大小可用于表示概率系统的不确定程度。 例1 设某一概率系统中，每一事件产生的概率分布为：（1， 0…，0） 例2 设某一概率系统中，其概率分布是均匀的，它表示系统中每一事件产生的概率相等。 例：两个中间状态 ?????? 设概率系统A、B得分布为：???????? ????????  ??????试比较它们哪一个系统的不确定程度大。 2.1.4　信息熵的基本性质 ?1.单峰性 例 ???设某一系统包含两个事件A、B，其产生的概率分别为p和1-p。该系统的熵为 ??2.对称性例 ?某系统中n个事件的概率分布为 3.非负性 4.渐化性 5.展开性 例 设概率为 ????????????????????的事件可分解为q和r的两个事件，则有???????????????????? 例 ??设某一系统的概率分布为：???????? ??????????????????????????????? ????? 6.确定性 概率系统中，任一事件产生的概率为1，则其他事件产生的概率为0，这是一种确定的系统。对于这样的系统，有???????? ???????????????????????????????????????????????????????????????????????????????????????? 第二节 相对熵与冗余度 2.2.1　相对熵 第二节 相对熵与冗余度 2.2.1　相对熵 2.2.2　冗余度 相对信息熵,冗余度为: 香农 冗余度表示了由于每种字符出现的概率不同而使信息熵减少的程度 信息传递过程中的冗余度使得信息传递的效率降低，但这种冗余度也并非总是无意义的。 对信息的预测 信息的纠错 用处： 第三节 熵函数的展开 2.3.1　联合熵 设有两道多重选择问题X、Y。 第三节 熵函数的展开 2.3.1　联合熵 设有两道多重选择问题X、Y。 若xi ， yi相互独立，则 二元联合熵 第三节 熵函数的展开 2.3.1　联合熵 设有两道多重选择问题X、Y。问题X有r个预选答案，问题Y有c个预选答案。通过测试，学生对问题X选中第s个预选答案，对问题Y选中第t个预选答案的概率为 。这是一种同时的选择概率。 例 考虑m=2的情况，且假定联合概率分布如下,求其二玩联合熵 1/10 1/20 7/20 x2 1/10 7/20 1/20 x1 y3 y2 y1 P（xiyi） 2.3.2　条件熵 在事件s产生的情况下，另一种事件t产生的概率以条件概率 ???????所表示。由此，可引入条件熵 ?????????，且有?? ?????????????????????????????????????? 条件熵与联合熵具有以下关系：?? ??????????????????????????? 同样有???? ??????????????????????????? 基于联合熵和条件熵。可定义互信息量 ???????。X、Y的互信息量 ???????为?? ???????????????????????????????? 可得到?? ??????????????????????????? 第四节 测试问题的信息量